Хороший тест / плохой тест или как не надо составлять тест для проверки знаний
Сложно составить хороший тест для проверки знаний. С этим я столкнулся еще в 2003 году. Мы стартовали систему дистанционного обучения (СДО) в Винницком Национальном Техническом Университете и начали накапливать базу тестов по различным курсам. Сказать, что все они были идеальны — нельзя. И опытные преподаватели допускали такие ошибки, которые делали тест неэффективным.
Позже мы создали свою платформу обучения — Collaborator. Это СДО для бизнеса. И сейчас, когда она обслуживает более полусотни компаний в Украине, я снова наблюдаю схожие ошибки в тестовых вопросах.
Может показаться, что составить хороший тест невозможно без основательных методических навыков и педагогического опыта. Но на самом деле достаточно здравого смысла, немного времени и простых приемов. Про них я и расскажу.
Дано:
Надо прояснить условия нашей задачи.
- Речь о тесте знаний. Такой тест определяет уровень понимания или подтверждает усвоение информации. Это измерительный инструмент. Его результат — числовая величина, количество набранных баллов.
- Рассматриваем только тест с «закрытыми» вопросами. Где надо сделать выбор из предложенных вариантов, а не писать что-то от себя. Эти тесты очень популярны в СДО, потому что ответы на них проверяются алгоритмом, т.е. определение результата не требует участия человека-учителя.
- Принимаем, что в тесте достаточно вопросов для статистической достоверности результата (хотя бы больше 100). Сколько вопросов будет достаточно для такой достоверности — это отдельная тема для разговора. Тут мы фокусируемся на качестве вопросов.
Решение:
Про что помним при составлении теста
- Любой вопрос теста можно задать по-другому.
- Любые проверки знаний можно свести к простым типам вопросов, такие как выбор одного или нескольких вариантов из многих. Усложнение без острой необходимости — это зло.
- Для вопросов и вариантов ответов используем инфостиль.
Если вы еще не знакомы с книгой «Пиши, сокращай: Как создавать сильный текст», то самое время это сделать. Рекомендую знать и применять инфостиль при формировании вопросов. Это сделает их понятными и снизит стресс у тестируемых.
1. Вопрос должен быть вопросом
Не заставляйте сотрудников завершать незаконченные предложения, заполнять оборванные фразы. Не сразу можно понять, что от тебя хотят, смысл и цель такого вопроса в тесте. Приходится перечитывать все варианты ответов, чтобы сформулировать в своей голове вопрос, на который будем отвечать. Почему бы сразу не задать именно его?
Пример:
| Неправильно | Правильно |
Особенностью тонометра модели M2 Eco является:
|
Какие из указанных характеристик соответствуют тонометру модели M2 Eco?
|
2. Начинайте вопрос с главного
Сразу направляйте внимание на то, что требуется от пользователя. Начинайте с сути вопроса, с главного. Берите пример с английского языка. Правильно построенное предложение начинается с того кто и что делает. Только потом добавляются все остальные подробности.
Пример:
| Неправильно | Правильно |
| При продаже фирменного блюда «Аля-Дофинуа» добавляется фирменная влажная салфетка? | Требуется ли добавлять фирменную влажную салфетку продавая фирменное блюдо «Аля-Дофинуа»? |
| Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае? | В каком случае сотрудник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа? |
3. Используйте простые и короткие фразы
Длинные предложения как клубок ниток. Приходится распутывать все запятые, местоимения и части речи, чтобы понять смысл вопроса. Упрощайте.
Пример:
| Неправильно | Правильно |
| Больной жалуется на боль в горле, повышение температуры, слабость. При осмотре миндалины покрыты обильным светлым налетом. Какой возбудитель вызывает заболевание ангиной? | Какой возбудитель вызывает заболевание ангиной (миндалины покрыты обильным светлым налетом)? |
| Приведите в порядок последовательность действий, чтобы найти информацию о пациенте и перейти к его врачебным назначениям, если у вас есть номер его амбулаторной карты. | Установите правильную последовательность поиска данных о врачебных назначениях пациента по номеру его амбулаторной карты. |
4. «Детские» и «идиотские» вопросы
Это «бытовая» терминология. Вопросы с очевидным ответом называем «детскими», вопросы с невозможным ответом — «идиотскими». Оба варианта недопустимы в тестах для контроля знаний. Они только искажают результат тестирования, что приводит к неправильной оценке сотрудника.
Нужно сказать, что «детские» вопросы не обязательно являются чем-то плохим. В случае самоконтроля это уместно. Очевидные ответы помогают авторам учебных курсов выделить главную и значимую информацию, акцентировать на ней внимание слушателя. Но если «детский» вопрос не касается существенных аспектов знаний — он бесполезен.
LMS Collaborator — статистика по вопросам теста
Во многих СДО есть инструменты для обнаружения простых и сложных вопросов. Такие вопросы следует переделывать. Найдите те, на которые все сотрудники правильно отвечают в более чем 95% случаев — это «детские» вопросы. «Идиотскими» можно считать вопросы, на которые мы получаем менее 5% правильных ответов. Помним, что это работает если все выбранные случаи тестирования проводились в одинаковых условиях и их было много — как минимум около сотни и больше.
Пример:
| Неправильно | Правильно |
За счет чего сводиться к минимуму образование известкового налета на стеклах душевых кабинок?
Это детский вопрос, т.к. правильный ответ — опция Anti-plaque — очевиден и легко определим методом исключения. |
Что из перечисленного сводит к минимуму образование известкового налета на стеклах душевых кабинок?
|
5. Используйте правдоподобные дистракторы
Неправильные варианты ответов — дистракторы — должны быть правдоподобными. Иначе их моментально распознают. Вопрос с такими ответами бесполезен как для самотестирования, так и в аттестационном тесте.
Кроме того, такие варианты ответов говорят о некомпетентности и поспешности составителя тестов. Они часто вызывают улыбку у тех сотрудников, кто хоть немного в теме.
Разработка правильных дистракторов — отдельная тема для обсуждений. Коротко про это можете почитать в Википедии
Пример:
| Неправильно | Правильно |
Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?
|
Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?
|
6. Убирайте «все варианты ответов правильные» и «нет правильных ответов»
Во-первых, используя такой подход, мы играем на нервах пользователей и теряем их время.
Что вы чувствуете, когда встречается вариант «все варианты ответов правильные»? Сомнение? Даже профессионал начинает сомневаться все ли правильно понял и перечитывать вопрос и варианты ответов.
Во-вторых, этот вариант ответа подталкивает к тому, чтобы его выбрать или наоборот — не выбрать. В психологии это называют ловушкой «установка на крайние ответы». Объективность ответа на вопрос теряется.
В-третьих, использование «нет правильных ответов» вызывает только замешательство и “чувство подвоха”. Очевидная цель таких вопросов — завалить тестируемого сотрудника, а не определить его уровень знаний.
Переделайте вопрос на выбор нескольких вариантов ответа и добавьте один-два правдоподобных дистрактора. Или разбейте его на несколько вопросов.
Пример:
| Неправильно | Правильно |
Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае?
|
В каких случаях сотрудника можно отстранить от работы по решению работодателя оформленного в виде Приказа?
|
Итог
Это наиболее частые случаи нерационального формирования вопросов тестов. Если у вас есть опыт работы с проблемными тестами — пожалуйста, поделитесь — напишите нам в комментарии ваши примеры и как вы с ними поступали.
Если у вас есть время и желание досконально разобраться с методиками разработки педагогических тестов, то следует обратиться к науке Тестологии. Вот что поможет вам в этом:
- Статьи и работы Аванесова В.С. Его работы посвящены педагогическому тестированию и это один из лучших вариантов, чтобы разобраться с теорией тестов.
- Аванесов B.C. «Композиция тестовых заданий». Учебная книга. 3 изд. доп. М.: Центр тестирования, 2002г. -240 с. — рекомендации, собранные в этом издании остаются актуальными и сейчас.
- Секреты составления тестов — хорошая статья про то, как следует составлять тесты по реальным кейсам банковской сферы.
- Writing Good Multiple Choice Test Questions — статья 2013 года про составление тестов со множественным ответом и способы создания правильных дистракторов.
- Булах І.Є., Мруга М.Р. Створюємо якісний тест. Навчальний посібник — К.: Майстер-клас, 2006. — 160 с — пособие по педагогической тестологии, стиль изложения академический, но много практических примеров.
- А.Г.Шмелев «Практическая тестология» — рекомендует Игорь Бех, много качественных примеров.
Будьте с нами на связи в Facebook и Linkedin!
Подписывайтесь на нашу e-learning рассылку, получите скидку на LMS Collaborator по промокоду: LMS2020-05
