• good-test-bad-test
    Назад

    Хороший тест / плохой тест или как не надо составлять тест для проверки знаний

    Дата публікації: 18.05.2020
    Перегляди

    Вибачте цей текст доступний тільки в “російська і “англійська”.

    Сложно составить хороший тест для проверки знаний. С этим я столкнулся еще в 2003 году. Мы стартовали систему дистанционного обучения (СДО) в Винницком Национальном Техническом Университете и начали накапливать базу тестов по различным курсам. Сказать, что все они были идеальны – нельзя. И опытные преподаватели допускали такие ошибки, которые делали тест неэффективным.

    Позже мы создали свою платформу обучения – Collaborator. Это СДО для бизнеса. И сейчас, когда она обслуживает более полусотни компаний в Украине, я снова наблюдаю схожие ошибки в тестовых вопросах.
    Может показаться, что составить хороший тест невозможно без основательных методических навыков и педагогического опыта. Но на самом деле достаточно здравого смысла, немного времени и простых приемов. Про них я и расскажу.

    Дано:

    Надо прояснить условия нашей задачи.

    1. Речь о тесте знаний. Такой тест определяет уровень понимания или подтверждает усвоение информации. Это измерительный инструмент. Его результат – числовая величина, количество набранных баллов.
    2. Рассматриваем только тест с «закрытыми» вопросами. Где надо сделать выбор из предложенных вариантов, а не писать что-то от себя. Эти тесты очень популярны в СДО, потому что ответы на них проверяются алгоритмом, т.е. определение результата не требует участия человека-учителя.
    3. Принимаем, что в тесте достаточно вопросов для статистической достоверности результата (хотя бы больше 100). Сколько вопросов будет достаточно для такой достоверности – это отдельная тема для разговора. Тут мы фокусируемся на качестве вопросов.

    Решение:

    Про что помним при составлении теста

    1. Любой вопрос теста можно задать по-другому.
    2. Любые проверки знаний можно свести к простым типам вопросов, такие как выбор одного или нескольких вариантов из многих. Усложнение без острой необходимости – это зло.
    3. Для вопросов и вариантов ответов используем инфостиль.
      Если вы еще не знакомы с книгой «Пиши, сокращай: Как создавать сильный текст», то самое время это сделать. Рекомендую знать и применять инфостиль при формировании вопросов. Это сделает их понятными и снизит стресс у тестируемых.

    1. Вопрос должен быть вопросом

    Не заставляйте сотрудников завершать незаконченные предложения, заполнять оборванные фразы. Не сразу можно понять, что от тебя хотят, смысл и цель такого вопроса в тесте. Приходится перечитывать все варианты ответов, чтобы сформулировать в своей голове вопрос, на который будем отвечать. Почему бы сразу не задать именно его?

    Пример:

    Неправильно Правильно
    Особенностью тонометра модели M2 Eco является:

    • отсутствие разъема для блока питания
    • комплектация веероподобной манжетой
    • корпус из еко-пластика
    • ударопрочный корпус
    • сменная манжета
    Какие из указанных характеристик соответствуют тонометру модели M2 Eco?

    • отсутствие разъема для блока питания
    • комплектация веероподобной манжетой
    • корпус из еко-пластика
    • ударопрочный корпус
    • сменная манжета

    2. Начинайте вопрос с главного

    Сразу направляйте внимание на то, что требуется от пользователя. Начинайте с сути вопроса, с главного. Берите пример с английского языка. Правильно построенное предложение начинается с того кто и что делает. Только потом добавляются все остальные подробности.

    Пример:

    Неправильно Правильно
    При продаже фирменного блюда «Аля-Дофинуа» добавляется фирменная влажная салфетка? Требуется ли добавлять фирменную влажную салфетку продавая фирменное блюдо «Аля-Дофинуа»?
    Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае? В каком случае сотрудник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа?

    3. Используйте простые и короткие фразы

    Длинные предложения как клубок ниток. Приходится распутывать все запятые, местоимения и части речи, чтобы понять смысл вопроса. Упрощайте.

    Пример:

    Неправильно Правильно
    Больной жалуется на боль в горле, повышение температуры, слабость. При осмотре миндалины покрыты обильным светлым налетом. Какой возбудитель вызывает заболевание ангиной? Какой возбудитель вызывает заболевание ангиной (миндалины покрыты обильным светлым налетом)?
    Приведите в порядок последовательность действий, чтобы найти информацию о пациенте и перейти к его врачебным назначениям, если у вас есть номер его амбулаторной карты. Установите правильную последовательность поиска данных о врачебных назначениях пациента по номеру его амбулаторной карты.

    4. «Детские» и «идиотские» вопросы

    Это «бытовая» терминология. Вопросы с очевидным ответом называем «детскими», вопросы с невозможным ответом – «идиотскими». Оба варианта недопустимы в тестах для контроля знаний. Они только искажают результат тестирования, что приводит к неправильной оценке сотрудника.

    Нужно сказать, что «детские» вопросы не обязательно являются чем-то плохим. В случае самоконтроля это уместно. Очевидные ответы помогают авторам учебных курсов выделить главную и значимую информацию, акцентировать на ней внимание слушателя. Но если «детский» вопрос не касается существенных аспектов знаний – он бесполезен.

    LMS Collaborator статистика вопросов тестов

    LMS Collaborator – статистика по вопросам теста

    Во многих СДО есть инструменты для обнаружения простых и сложных вопросов. Такие вопросы следует переделывать. Найдите те, на которые все сотрудники правильно отвечают в более чем 95% случаев – это «детские» вопросы. «Идиотскими» можно считать вопросы, на которые мы получаем менее 5% правильных ответов. Помним, что это работает если все выбранные случаи тестирования проводились в одинаковых условиях и их было много – как минимум около сотни и больше.

    Пример:

    Неправильно Правильно
    За счет чего сводиться к минимуму образование известкового налета на стеклах душевых кабинок?

    • Толщины стекла.
    • Опция Anti-plaque.
    • Наличия декора на стекле.

    Это детский вопрос, т.к. правильный ответ – опция Anti-plaque – очевиден и легко определим методом исключения.

    Что из перечисленного сводит к минимуму образование известкового налета на стеклах душевых кабинок?

    • Отсутствие декора на стекле
    • Обработка по технологии  Anti-plaque
    • Дополнительная полировка стекла
    • Покрытие по технологии AntiCalcium

    5. Используйте правдоподобные дистракторы

    Неправильные варианты ответов – дистракторы – должны быть правдоподобными. Иначе их моментально распознают. Вопрос с такими ответами бесполезен как для самотестирования, так и в аттестационном тесте.

    Кроме того, такие варианты ответов говорят о некомпетентности и поспешности составителя тестов. Они часто вызывают улыбку у тех сотрудников, кто хоть немного в теме.

    Разработка правильных дистракторов – отдельная тема для обсуждений. Коротко про это можете почитать в Википедии

    Пример:

    Неправильно Правильно
    Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?

    • Эвакуировать людей из помещения
    • Вызвать службу охраны
    • Первым покинуть помещение
    Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?

    • Вывести людей из помещения
    • Вызвать пожарных по телефону 101
    • Включить пожарную сигнализацию

    6. Убирайте «все варианты ответов правильные» и «нет правильных ответов»

    Во-первых, используя такой подход, мы играем на нервах пользователей и теряем их время.
    Что вы чувствуете, когда встречается вариант «все варианты ответов правильные»? Сомнение? Даже профессионал начинает сомневаться все ли правильно понял и перечитывать вопрос и варианты ответов.

    Во-вторых, этот вариант ответа подталкивает к тому, чтобы его выбрать или наоборот – не выбрать. В психологии это называют ловушкой «установка на крайние ответы». Объективность ответа на вопрос теряется.

    В-третьих, использование «нет правильных ответов» вызывает только замешательство и “чувство подвоха”. Очевидная цель таких вопросов – завалить тестируемого сотрудника, а не определить его уровень знаний.

    Переделайте вопрос на выбор нескольких вариантов ответа и добавьте один-два правдоподобных дистрактора. Или разбейте его на несколько вопросов.

    Пример:

    Неправильно Правильно
    Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае?

    • Появления на работе в нетрезвом состоянии (в состоянии наркотического или токсического опьянения)
    • Отказа или уклонения от обязательных медицинских осмотров, обучения, инструктажа, проверки знаний по охране труда
    • По предписаниям государственных органов и в других случаях, предусмотренных законодательством Украины
    • Все варианты ответов правильные
    В каких случаях сотрудника можно отстранить от работы по решению работодателя оформленного в виде Приказа?

    • Появление на работе в нетрезвом состоянии (в состоянии наркотического или токсического опьянения)
    • Отказ или уклонение от обязательных медицинских осмотров, обучения, инструктажа, проверки знаний по охране труда
    • По предписанию государственных органов и в других случаях, предусмотренных законодательством Украины
    • Опоздание на работу и нарушения трудового распорядка

    Итог

    Это наиболее частые случаи нерационального формирования вопросов тестов. Если у вас есть опыт работы с проблемными тестами – пожалуйста, поделитесь – напишите нам в комментарии ваши примеры и как вы с ними поступали.

    Если у вас есть время и желание досконально разобраться с методиками разработки педагогических тестов, то следует обратиться к науке Тестологии. Вот что поможет вам в этом:

    1. Статьи и работы Аванесова В.С. Его работы посвящены педагогическому тестированию и это один из лучших вариантов, чтобы разобраться с теорией тестов.
    2. Аванесов B.C. «Композиция тестовых заданий». Учебная книга. 3 изд. доп. М.: Центр тестирования, 2002г. -240 с. – рекомендации, собранные в этом издании остаются актуальными и сейчас.
    3. Секреты составления тестов – хорошая статья про то, как следует составлять тесты по реальным кейсам банковской сферы.
    4. Writing Good Multiple Choice Test Questions – статья 2013 года про составление тестов со множественным ответом и способы создания правильных дистракторов.
    5. Булах І.Є., Мруга М.Р. Створюємо якісний тест. Навчальний посібник — К.: Майстер-клас, 2006. — 160 с – пособие по педагогической тестологии, стиль изложения академический, но много практических примеров.
    6. А.Г.Шмелев «Практическая тестология» – рекомендует Игорь Бех, много качественных примеров.

    Будьте с нами на связи в Facebook и Linkedin!
    Подписывайтесь на нашу e-learning рассылку, получите скидку на LMS Collaborator по промокоду: LMS2020-05

    Logo LMS Collaborator

    Приглашаем вас посетить наши странички в соцсетях.
    Там вы найдете множество советов и фишек корпоративного обучения, которые не вошли в блог:
    blank
    root
    Content Manager LMS Collaborator
    Всі записи автора
    Комментарии
    Мы будем рады, если вы поделитесь с нами своим опытом использования геймификации в обучении.

    Ирина
    27.05.2020
    Интересная и познавательная статья
    Спробуйте систему в дії
    Ніщо не замінює практичний досвід. Випробуйте зараз LMS Collaborator для вирішення своїх завдань безкоштовно
    Замовити демо
    Або телефонуйте нашому менеджеру
    +38(067)217-0440