Федеральное агентство по техническому регулированию и метрологии
"Российский научно–технический центр информации по стандартизации, метрологии и оценке соответствия"


Маграмова А.А. ПРАКТИЧЕСКИЕ АСПЕКТЫ ИСПОЛЬЗОВАНИЯ ТЕСТОВОГО КОНТРОЛЯ В РАМКАХ СИТУАЦИОННО-РОЛЕВОГО ПОДХОДА К ПРОВЕДЕНИЮ ПРОЦЕДУРЫ САМООЦЕНКИ ДЕЯТЕЛЬНОСТИ ПРЕДПРИЯТИЯ [Электронный ресурс] // Информационно-экономические аспекты стандартизации и технического регулирования: Научный интернет-журнал. 2011. – № 3(3). Режим доступа http://iea.gostinfo.ru/files/2011_03/2011_03_14.pdf

УДК 658.3


ПРАКТИЧЕСКИЕ АСПЕКТЫ ИСПОЛЬЗОВАНИЯ ТЕСТОВОГО КОНТРОЛЯ В РАМКАХ СИТУАЦИОННО-РОЛЕВОГО ПОДХОДА К ПРОВЕДЕНИЮ ПРОЦЕДУРЫ САМООЦЕНКИ ДЕЯТЕЛЬНОСТИ ПРЕДПРИЯТИЯ

Маграмова А.А.
, аспирант ФГУП «СТАНДАРТИНФОРМ»


В статье обоснована необходимость формирования и реализации в рамках ситуационно-ролевого подхода к проведению самооценки деятельности предприятия системы тестов четырех уровней сложности в соответствии с определенными уровнями критериальной системы оценки, раскрыты сущность и содержание основных форм тестовых заданий для оценки уровня информационной и деятельностной компетенции исполнителей.

Ключевые слова: предприятие, самооценка, ситуационно-ролевой подход, компетенция, уровень, тест.

UDC 658.3


PRACTICAL ASPECTS OF USAGE OF TEST CONTROL IN THE FRAMEWORK OF ROLE AND SITUATION APPROACH TO ORGANIZATION OF SELF-ASSESSMENT OF ENTERPRISE ACTIVITIES

Magramova A.A.
, applicant at FSUE «STANDARTINFORM»


The article substantiates the necessity of creation and implementation of 4-level difficulty test system in the framework of role and situation approach to organization of self-assessment of enterprise activities with respect to certain levels of criterion assessment system as well as reveals the essence and contents of basic forms of test tasks for estimation of the level of informational and operational competence of executors.

Keywords: enterprise, self-assessment, role and situation approach, competence, level, test.

Одним из эффективных способов определения уровня компетенции персонала различных категорий является тестовый контроль. Тест – это некоторая последовательность, возможно циклическая, стимулов и реакций, позволяющая подтвердить (или опровергнуть) некоторую гипотезу тестирования. Гипотеза тестирования – логическое утверждение, подлежащее проверке, в том числе проверке с некоторой степенью уверенности или вероятности в ходе тестирования. К основным характеристикам теста в целом и его отдельных элементов относят:

- валидность – степень соответствия реального положения дел желаемому (аналог понятия адекватности модели в математике) – это соответствие теста содержанию контролируемого показателя уровня компетенции исполнителя;

- экономичность – длина теста, выраженная в некоторых абстрактных единицах, относительно некоторого идеального «нулевого» значения.

Ситуационно-ролевой подход к проведению самооценки деятельности предприятия предполагает обеспечивать формирование и реализацию тестов четырех уровней сложности в соответствии с определенными уровнями критериальной системы оценки:
а) узнавание изученной информации: тесты на опознание, различение и соотнесение (классификацию) объектов, явлений и понятий;
б) решение типовой задачи с подсказкой: тесты-подстановки, тесты-задачи и тесты-процессы;
в) решение типовой задачи без подсказки: конструктивные тесты и тесты-процессы;
г) решение проблемы: тесты для выявления умений исполнителя находить решение новых задач, опираясь на творческую деятельность.

Тесты первого уровня сложности, как правило, применяются для оценивания уровня информационной компетенции исполнителя и преимущественно для оценивания декларативных знаний исполнителя в соответствующей области его ролевой деятельности.

В тесте опознания оцениваемому исполнителю предъявляется задание, требующее от него альтернативного ответа:
- «да» или «нет»;
- «является» или «не является»;
- «относится» или «не относится» и т.п.

Одна из альтернатив является «эталоном» правильного ответа. В задании обязательно фигурирует объект, о свойствах или характеристиках которого исполнитель той или иной роли в соответствующей структуре деятельности предприятия должен иметь представление.

Тесты различения вместе с заданием содержат варианты ответов, из которых исполнитель должен выбрать один или несколько вариантов. Эталон такого теста представляет собой, соответственно, один или несколько правильных вариантов ответов. В тестах различения содержатся «помехи», которые создаются наличием ряда вариантных ответов.

С помощью тестов различения можно контролировать уровень информационной компетенции, как декларативного, так и процедурного характера. Применительно к оцениванию уровня компетенции управленческих кадров предприятия данные тесты должны использоваться для оценивания уровня информационной компетенции исполнителей по предметной области, связанной с управленческой деятельностью предприятия:
- термины, понятия, определения;
- единицы измерения;
- числовые значения;
- формулы, зависимости.

К тестам различения относится и псевдотест – задание, в котором формулируется условие задачи и приводятся все необходимые исходные данные, а в ответах представлено несколько вариантов решения задачи в числовом или буквенном виде. Оцениваемый исполнитель должен решить задачу и показать, какой ответ он получил.

К тестам различения относятся также тесты с выбором характера влияния определенных факторов на те или иные экономические результаты деятельности предприятия (при зависимостях, не выражаемых аналитически). Так, например, в задании может быть предложена ситуация, связанная с изменением определенного фактора, влияющего на результаты функционирования предприятия или его структурного подразделения в некоторой ситуации. В этом случае оцениваемый исполнитель должен выбрать ответ, правильно показывающий результат действия фактора.

В тестах соотнесения (классификации) задание содержит перечень предметов, явлений, процессов и относящихся к ним свойств (качеств). Оцениваемый исполнитель должен выбрать ответ, в котором правильно соотнесены предметы и их свойства.

Тесты второго уровня сложности, также как и группа предыдущих тестов, применяются для оценивания уровня информационной компетенции исполнителей. В отличие от группы первого уровня сложности данные тесты в большей степени позволяют выявить уровень компетенции процедурных знаний исполнителя. К тестам второго уровня сложности относятся: тесты-подстановки, тесты-задачи и тесты-процессы.

Задание теста-подстановки на втором уровне сложности может представлять собой текст, формулу, чертеж, график или схему, в которых отсутствуют один или несколько элементов, представляющих собой существенную часть информации по данному объекту. Выполнение теста состоит в том, чтобы ввести в пропущенные места эти элементы.

Тесты-подстановки в самом задании несут элементы намека, подсказки, которые помогают исполнителю воспроизвести необходимую информацию. Намеки и подсказки могут быть:
- предметные, помогающие исполнителю назвать объект по содержащимся в тексте задания его признакам;
- формальные – число точек соответствует числу букв в слове, которое нужно подставить на место пропуска;
- контекстные – содержание пропуска выявляется из сопутствующего текста;
- количественные – из текста задания исполнитель видит, сколько контрольных элементов ему надо вспомнить;
- основанные на логическом параллелизме – когда на основании начальной части задания облегчается заполнение пропусков в последующих частях.

Тесты-задачи служат для проверки:
- знания руководящих документов;
- усвоения расчетных формул;
- усвоения логической последовательности (алгоритма) решения;
- знания понятийного аппарата.

Задание теста-задачи содержит все необходимые данные и требования, в которых исполнителю указано, что именно нужно найти в ходе решения задачи. Эталон к тесту-задаче представляет собой указание рациональной последовательности всех существенных операций, их форму и содержание.

Тесты-процессы служат для проверки уровня компетенции исполнителя к разработке содержания и последовательности различных процессов выработки решения. В задании теста-процесса указывают все необходимые исходные данные, оговаривают условия проведения процесса и формулируют требовании к результатам. Эталоном служит документация с полным описанием всех действий и операций.

Эталон – это образец, которому должна соответствовать работа, выполненная исполнителем. Во многих случаях можно заранее предвидеть, что могут быть два или более различных вариантов решения задачи, причем каждый из них будет правильным. Поэтому при составлении тестов нужно стремиться к созданию таких заданий, которые могли бы иметь только один эталон. Для этого можно попытаться «дробить» задачу на несколько последовательно выдаваемых заданий. При таком подходе вместо одного теста оцениваемый исполнитель получает несколько связанных общими исходными данными тестов, причем в последующих тестах используются результаты решения предыдущих.

Тесты третьего и четвертого уровня сложности предназначены для оценивания уровня деятельностной компетенции исполнителей.

Третья группа уровня сложности тестов предназначена для оценивания уровня деятельностной компетенции исполнителей по трем основным частным аспектам: умению и навыкам оценивать сложившуюся обстановку, правильно выбирать решение задачи, правильно запоминать информацию о наиболее важных аспектах своей деятельности. Для тестов данной группы сложности характерной чертой является отсутствие вариантов ответов. Оценивание уровня компетенции в данном случае осуществляется либо с применением набора прецедентов, либо с привлечением экспертов по тем или иным вопросам деятельности предприятия. Применительно к категории управленческих кадров данная группа тестов должна содержать задания для оценивания уровня деятельностной компетенции оцениваемых должностных лиц либо при возникновении различных управленческих ситуаций, либо в процессе повседневной деятельности предприятия, проводящего самооценку своей деятельности.

Тесты четверной группы сложности предназначены для оценивания уровня деятельносной компетенции применительно к аспекту координации. В этом случае оценивается уровень компетенции исполнителя, отражающий его способность правильно и скоординировано применять как знания в соответствующей предметной области деятельности, так навыки по различным аспектам свой деятельности. В этом случае для решения предлагается определенная практическая комплексная проблема, при решении которой оцениваемый исполнитель должен показать уровень своего творческого потенциала, умения решать новые для себя задачи, опираясь на предшествующий опыт и знания. Формирование тестов данной категории сложности – достаточно трудоемкая и неформализуемая задача. Как правило, задание для тестов данной категории должны интегрировать задания тестов предшествующих категорий сложности и «облачение» их в определенную ситуационную оболочку, связанную с практической деятельность предприятия. Для решения задачи формирования такого комплексного теста предлагается следующая методика.
1. «Планирование теста» – подробное определение цели комплексного теста, возможных способов достижения цели, ограничений на процесс достижения цели (например, временных), математических показателей качества будущего теста и допустимых отклонений этих характеристик.
2. В соответствии с планом теста проводится генерация тестовых заданий – создание списка стимулов и вариантов ответов – как правильных, так и отвлекающих. Тип задания (закрытое, открытое) и конкретный способ его предъявления определяются, исходя из требований к математическим характеристикам качества теста.
3. Из тестовых заданий составляются 2 равноценных набора заданий – основной и запасной, предназначенный для проведения повторного тестирования.
4. Проводится пробное тестирование на экспертах, не участвовавших в составлении заданий. Цель тестирования – проверить очевидную валидность заданий, т.е. доходчивость формулировки задания, способа ответа на него, исправление ошибок – логических, предметных и грамматических. Экспертов просят предварительно оценить трудность каждого задания, проставив ему оценку по некоторой шкале.
5. Исправленный тест проводится на выборке из контингента, равнозначного целевому. Цель: ранжировать вопросы по трудности путем корректировки «весов вопросов», предварительно расставленных экспертами, корректировка системы оценки по тесту таким образом, чтобы оценка по тесту примерно соответствовала экспертной оценке проставленной конкретному оцениваемому исполнителю. В результате тест корректируется в сторону повышения валидности.

При этом количество тестовых заданий должно быть таким, чтобы они, с одной стороны, охватывали все стороны ролевой деятельности оцениваемого исполнителя, с другой стороны – давали возможность для проведения нескольких этапов оценивания одного исполнителя путем использования непересекающихся выборок тестовых заданий, то есть имели несколько наборов контрольных заданий, в которые включают разные тестовые задания для оценивания различных аспектов уровня компетенции.

Таким образом, система оценивания уровня компетенции позволяют оценивать уровень качества выполнения ролей исполнителями соответствующего вида деятельности предприятия в рамках проведения мероприятий по самооценке деятельности предприятия. При этом данная система может быть использована в ситуационных вариантах проведения самооценки деятельности предприятия путем оценивания качества деятельности исполнителей предприятия в соответствующей ситуации ролевой структуре, что позволяет повысить адекватность и достоверность оценок качества деятельности предприятия в рамках применения ситуационно-ролевого подхода к проведению процедуры самооценки.
© Маграмова А.А.