• good-test-bad-test
    Atrás

    Хороший тест / плохой тест или как не надо составлять тест для проверки знаний

    Fecha de publicación: 18.05.2020
    Visitas: 1116

    Sorry, this entry is only available in ruso and inglés estadounidense.

    Сложно составить хороший тест для проверки знаний. С этим я столкнулся еще в 2003 году. Мы стартовали систему дистанционного обучения (СДО) в Винницком Национальном Техническом Университете и начали накапливать базу тестов по различным курсам. Сказать, что все они были идеальны – нельзя. И опытные преподаватели допускали такие ошибки, которые делали тест неэффективным.

    Позже мы создали свою платформу обучения – Collaborator. Это СДО для бизнеса. И сейчас, когда она обслуживает более полусотни компаний в Украине, я снова наблюдаю схожие ошибки в тестовых вопросах.
    Может показаться, что составить хороший тест невозможно без основательных методических навыков и педагогического опыта. Но на самом деле достаточно здравого смысла, немного времени и простых приемов. Про них я и расскажу.

    Дано:

    Надо прояснить условия нашей задачи.

    1. Речь о тесте знаний. Такой тест определяет уровень понимания или подтверждает усвоение информации. Это измерительный инструмент. Его результат – числовая величина, количество набранных баллов.
    2. Рассматриваем только тест с «закрытыми» вопросами. Где надо сделать выбор из предложенных вариантов, а не писать что-то от себя. Эти тесты очень популярны в СДО, потому что ответы на них проверяются алгоритмом, т.е. определение результата не требует участия человека-учителя.
    3. Принимаем, что в тесте достаточно вопросов для статистической достоверности результата (хотя бы больше 100). Сколько вопросов будет достаточно для такой достоверности – это отдельная тема для разговора. Тут мы фокусируемся на качестве вопросов.

    Решение:

    Про что помним при составлении теста

    1. Любой вопрос теста можно задать по-другому.
    2. Любые проверки знаний можно свести к простым типам вопросов, такие как выбор одного или нескольких вариантов из многих. Усложнение без острой необходимости – это зло.
    3. Для вопросов и вариантов ответов используем инфостиль.
      Если вы еще не знакомы с книгой «Пиши, сокращай: Как создавать сильный текст», то самое время это сделать. Рекомендую знать и применять инфостиль при формировании вопросов. Это сделает их понятными и снизит стресс у тестируемых.

    1. Вопрос должен быть вопросом

    Не заставляйте сотрудников завершать незаконченные предложения, заполнять оборванные фразы. Не сразу можно понять, что от тебя хотят, смысл и цель такого вопроса в тесте. Приходится перечитывать все варианты ответов, чтобы сформулировать в своей голове вопрос, на который будем отвечать. Почему бы сразу не задать именно его?

    Пример:

    Неправильно Правильно
    Особенностью тонометра модели M2 Eco является:

    • отсутствие разъема для блока питания
    • комплектация веероподобной манжетой
    • корпус из еко-пластика
    • ударопрочный корпус
    • сменная манжета
    Какие из указанных характеристик соответствуют тонометру модели M2 Eco?

    • отсутствие разъема для блока питания
    • комплектация веероподобной манжетой
    • корпус из еко-пластика
    • ударопрочный корпус
    • сменная манжета

    2. Начинайте вопрос с главного

    Сразу направляйте внимание на то, что требуется от пользователя. Начинайте с сути вопроса, с главного. Берите пример с английского языка. Правильно построенное предложение начинается с того кто и что делает. Только потом добавляются все остальные подробности.

    Пример:

    Неправильно Правильно
    При продаже фирменного блюда «Аля-Дофинуа» добавляется фирменная влажная салфетка? Требуется ли добавлять фирменную влажную салфетку продавая фирменное блюдо «Аля-Дофинуа»?
    Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае? В каком случае сотрудник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа?

    3. Используйте простые и короткие фразы

    Длинные предложения как клубок ниток. Приходится распутывать все запятые, местоимения и части речи, чтобы понять смысл вопроса. Упрощайте.

    Пример:

    Неправильно Правильно
    Больной жалуется на боль в горле, повышение температуры, слабость. При осмотре миндалины покрыты обильным светлым налетом. Какой возбудитель вызывает заболевание ангиной? Какой возбудитель вызывает заболевание ангиной (миндалины покрыты обильным светлым налетом)?
    Приведите в порядок последовательность действий, чтобы найти информацию о пациенте и перейти к его врачебным назначениям, если у вас есть номер его амбулаторной карты. Установите правильную последовательность поиска данных о врачебных назначениях пациента по номеру его амбулаторной карты.

    4. «Детские» и «идиотские» вопросы

    Это «бытовая» терминология. Вопросы с очевидным ответом называем «детскими», вопросы с невозможным ответом – «идиотскими». Оба варианта недопустимы в тестах для контроля знаний. Они только искажают результат тестирования, что приводит к неправильной оценке сотрудника.

    Нужно сказать, что «детские» вопросы не обязательно являются чем-то плохим. В случае самоконтроля это уместно. Очевидные ответы помогают авторам учебных курсов выделить главную и значимую информацию, акцентировать на ней внимание слушателя. Но если «детский» вопрос не касается существенных аспектов знаний – он бесполезен.

    LMS Collaborator статистика вопросов тестов

    LMS Collaborator – статистика по вопросам теста

    Во многих СДО есть инструменты для обнаружения простых и сложных вопросов. Такие вопросы следует переделывать. Найдите те, на которые все сотрудники правильно отвечают в более чем 95% случаев – это «детские» вопросы. «Идиотскими» можно считать вопросы, на которые мы получаем менее 5% правильных ответов. Помним, что это работает если все выбранные случаи тестирования проводились в одинаковых условиях и их было много – как минимум около сотни и больше.

    Пример:

    Неправильно Правильно
    За счет чего сводиться к минимуму образование известкового налета на стеклах душевых кабинок?

    • Толщины стекла.
    • Опция Anti-plaque.
    • Наличия декора на стекле.

    Это детский вопрос, т.к. правильный ответ – опция Anti-plaque – очевиден и легко определим методом исключения.

    Что из перечисленного сводит к минимуму образование известкового налета на стеклах душевых кабинок?

    • Отсутствие декора на стекле
    • Обработка по технологии  Anti-plaque
    • Дополнительная полировка стекла
    • Покрытие по технологии AntiCalcium

    5. Используйте правдоподобные дистракторы

    Неправильные варианты ответов – дистракторы – должны быть правдоподобными. Иначе их моментально распознают. Вопрос с такими ответами бесполезен как для самотестирования, так и в аттестационном тесте.

    Кроме того, такие варианты ответов говорят о некомпетентности и поспешности составителя тестов. Они часто вызывают улыбку у тех сотрудников, кто хоть немного в теме.

    Разработка правильных дистракторов – отдельная тема для обсуждений. Коротко про это можете почитать в Википедии

    Пример:

    Неправильно Правильно
    Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?

    • Эвакуировать людей из помещения
    • Вызвать службу охраны
    • Первым покинуть помещение
    Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?

    • Вывести людей из помещения
    • Вызвать пожарных по телефону 101
    • Включить пожарную сигнализацию

    6. Убирайте «все варианты ответов правильные» и «нет правильных ответов»

    Во-первых, используя такой подход, мы играем на нервах пользователей и теряем их время.
    Что вы чувствуете, когда встречается вариант «все варианты ответов правильные»? Сомнение? Даже профессионал начинает сомневаться все ли правильно понял и перечитывать вопрос и варианты ответов.

    Во-вторых, этот вариант ответа подталкивает к тому, чтобы его выбрать или наоборот – не выбрать. В психологии это называют ловушкой «установка на крайние ответы». Объективность ответа на вопрос теряется.

    В-третьих, использование «нет правильных ответов» вызывает только замешательство и “чувство подвоха”. Очевидная цель таких вопросов – завалить тестируемого сотрудника, а не определить его уровень знаний.

    Переделайте вопрос на выбор нескольких вариантов ответа и добавьте один-два правдоподобных дистрактора. Или разбейте его на несколько вопросов.

    Пример:

    Неправильно Правильно
    Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае?

    • Появления на работе в нетрезвом состоянии (в состоянии наркотического или токсического опьянения)
    • Отказа или уклонения от обязательных медицинских осмотров, обучения, инструктажа, проверки знаний по охране труда
    • По предписаниям государственных органов и в других случаях, предусмотренных законодательством Украины
    • Все варианты ответов правильные
    В каких случаях сотрудника можно отстранить от работы по решению работодателя оформленного в виде Приказа?

    • Появление на работе в нетрезвом состоянии (в состоянии наркотического или токсического опьянения)
    • Отказ или уклонение от обязательных медицинских осмотров, обучения, инструктажа, проверки знаний по охране труда
    • По предписанию государственных органов и в других случаях, предусмотренных законодательством Украины
    • Опоздание на работу и нарушения трудового распорядка

    Итог

    Это наиболее частые случаи нерационального формирования вопросов тестов. Если у вас есть опыт работы с проблемными тестами – пожалуйста, поделитесь – напишите нам в комментарии ваши примеры и как вы с ними поступали.

    Если у вас есть время и желание досконально разобраться с методиками разработки педагогических тестов, то следует обратиться к науке Тестологии. Вот что поможет вам в этом:

    1. Статьи и работы Аванесова В.С. Его работы посвящены педагогическому тестированию и это один из лучших вариантов, чтобы разобраться с теорией тестов.
    2. Аванесов B.C. «Композиция тестовых заданий». Учебная книга. 3 изд. доп. М.: Центр тестирования, 2002г. -240 с. – рекомендации, собранные в этом издании остаются актуальными и сейчас.
    3. Секреты составления тестов – хорошая статья про то, как следует составлять тесты по реальным кейсам банковской сферы.
    4. Writing Good Multiple Choice Test Questions – статья 2013 года про составление тестов со множественным ответом и способы создания правильных дистракторов.
    5. Булах І.Є., Мруга М.Р. Створюємо якісний тест. Навчальний посібник — К.: Майстер-клас, 2006. — 160 с – пособие по педагогической тестологии, стиль изложения академический, но много практических примеров.
    6. А.Г.Шмелев «Практическая тестология» – рекомендует Игорь Бех, много качественных примеров.

    Будьте с нами на связи в Facebook и Linkedin!
    Подписывайтесь на нашу e-learning рассылку, получите скидку на LMS Collaborator по промокоду: LMS2020-05

    Logo LMS Collaborator

    blank
    The LMS Collaborator Team
    Content Manager LMS Collaborator
    Всі записи автора
    Etiquetas
    Pruebe LMS Collaborator en tiempo real
    ¿Necesita orientación para elegir las funciones adecuadas para digitalizar y automatizar los procesos de aprendizaje de su empresa? Estamos aquí para ayudar.
    Solicitar demostración
    O llame a nuestro gerente
    +44 20457 73128