Тестовый контроль знаний учащихся

По цели и по частоте использования педагогические тесты можно разделить на два вида: промежуточные тесты и аттестационные.

Промежуточные тесты. Проводятся во время учебного процесса по мере необходимости и отвечают следующим целям: текущий контроль, коррекция процесса обучения, выявление пробелов в знаниях, накопление объективных данных об учащихся.

Аттестационные тесты. Представляются в виде тестов достижений. Они проводятся в конце определенного учебного периода (учебного года, полугодия) с целью выявления итоговых знаний.

• «Упрощенный» – простой набор заданий.

• «Профессиональный», для которого характерны:

1. научный отбор содержания;

2. стандартизация формы задания;

3. оценка свойств заданий и качества теста.

Разумеется, наибольший интерес представляет профессиональный подход к созданию тестов.

Прежде всего, следует отметить, что все характеристики качества теста имеют вероятностный характер. Под педагогическим измерением понимают научно обоснованное отображение концептуально определяемой системы знаний в некоторую эмпирическую шкалу.

Остановимся на понятийном аппарате теории тестов.

Предтестовое задание – это единица материала, форма и содержание которого удовлетворяют ряду требований, обусловленных спецификой теста.

Тестовое задание – это предтестовое задание, оценки параметров которого удовлетворяют критериям качества.

Тест – это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и позволяющих эффектно оценить уровень подготовки испытуемых по некоторой шкале.

Содержание теста – отображение содержания предметной области (дисциплины) в системе заданий.

Содержание теста должно обосновываться и планироваться. Рассмотрим основные критерии качества содержания теста.

1. Критерий полноты (полнота содержания дисциплины) определяется процентным отношением охвата тем в опросе. То есть, если дисциплина, например, содержит 100 тем, а опрос в той или иной степени включает 80 тем, то можно говорить, что охват – 80% дисциплины.

2. Оценка значимости содержания задания. Если оценивать задания по следующей шкале: «1» – второстепенное; «2» – значимое; «3» – опорный элемент содержания, то целесообразно стремиться к средней оценке примерно «2,7».

3. Соответствие содержания теста цели его создания.

В настоящее время в различных источниках наблюдается большое количество названий форм предтестовых заданий. Мы постараемся систематизировать данную информацию. Существует четыре формы предтестовых заданий. Разберем их вкратце, и рассмотрим, какие методики характерны для каждого случая.

Задания на множественный выбор (задания с закрытой формой). Преподаватель формулирует основную часть задания и ответы к заданию. Среди ответов, как правило, один правильный. Для контроля такие задания очень удобны, т.к. можно охватить большой объем материала и затраты на проверку результатов невысоки.

В зависимости от ситуации возможны следующие инструкции (действия тестируемого):

• обведите номер или букву правильного ответа,

• обведите номера всех правильных ответов (если их несколько),

• обведите номер наиболее правильного ответа,

• обведите номер неправильного ответа (если правильных ответов больше). На 50 заданий таких вопросов разрешается не более 3х.

Инструкцию пишут обычно один раз – в начале теста. В компьютерном варианте целесообразнее использовать инструкцию «Выберите номер правильного ответа», причем она должна быть в каждом кадре (слайде).

Задания закрытой формы наиболее технологичны. Именно они представляют для нас наибольший интерес, с точки зрения составления, обработки и анализа результатов и применения обратной связи. Мы ограничиваем область значений ответов, создавая облегченные условия для анализа результатов. Следует следить, чтобы учащиеся не ощущали дискомфорт при прохождении теста, т.к. в этом случае результаты опроса будут искажены. Тесты с закрытой формой предтестовых заданий могут содержать два или больше варианта ответов. Задания с двумя вариантами ответов предназначены для экспресс-диагностики. За 15-20 минут можно предъявить учащемуся 50-70 заданий. Несмотря на высокую вероятность угадывания правильного ответа (50%), задания такого типа наиболее технологичны, а за счет большого количества заданий, можно в явной форме определить, знает ученик тему, или нет. Однако, варианты ответов должны быть содержательного плана, а не по принципу «Да – нет».

Задания с большим числом вариантов ответов имеют меньшую вероятность угадывания. Оптимально использовать 4-5 вариантов ответа.

В заданиях с закрытой формой большое внимание уделяется дистракторам (рассеивателям внимания) – неправильным ответам в заданиях. Те ошибки, которые встречаются у учащихся чаще всего – наиболее правдоподобные дистракторы. В классической теории тестов сформулирован ряд требований к дистракторам, причем некоторые из этих требований считаются категоричными и требуют строжайшего выполнения. Рассмотрим основные из них.

1. Все дистракторы к одному заданию должны быть равновероятно правдоподобны (общее количество неправильных ответов к одному заданию, полученное разными учащимися должно быть одинаково). Если какой-то дистрактор никто не выбирает – его нужно удалять. Нужно тщательно анализировать дистракторы.

2. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок.

3. Задание должно иметь простую синтаксическую конструкцию – не более одного придаточного предложения. Рекомендуется 2 конструкции: «что есть что» и «если – то».

4. В основную часть задания рекомендуется включать не более 7-8 слов.

5. Цепочная логика при разработке тестов исключается. Задания должны быть независимыми.

6. В основную часть задания рекомендуется включать как можно больше слов (из ответов), а для ответов – ключевые слова.

7. Все ответы к одному заданию должны быть приблизительно одинаковой длины.

8. Из текста задания необходимо исключить все вербальные ассоциации, способствующие угадыванию правильного ответа.

9. Частота выбора номера правильного ответа должна быть одинакова по тесту (либо номер правильного ответа случайным образом выбирается компьютером).

10. Текст задания освобождается от всякого иррелевантного («постороннего») для заданной проблемы материала.

11. В заданиях нельзя использовать оценочные суждения типа: «не считаете ли вы»; «как вы полагаете» и т. п.

12. Задание с отрицанием в основной части использовать не более одного-двух раз в тесте.

13. Ответ на каждое задание в тесте не должен помогать выполнению других заданий.

14. Текст задания формулируется в логической форме высказывания, которое становится истинным или ложным в зависимости от ответа учащегося.

Одним из недостатков заданий закрытой формы является то, что два неправильных ответа на один и тот же вопрос оцениваются одинаково. Для решения этой проблемы, предлагается ранжировать варианты ответов по «степени неправильности» (например: «в корне неправильно»; «скорее неправильно, чем правильно»; «не совсем правильно» и т. д.).

Другой серьезный недостаток таких заданий заключается в том, что правильные ответы на два разных вопроса оцениваются одинаково. Наиболее целесообразным здесь видятся ранжирование вопросов по степени сложности и определение весовых коэффициентов для каждого вопроса.

Своеобразным «бичом» заданий закрытой формы считается угадывание. Наиболее характерными мерами устранения этого недостатка считаются ввод поправки на угадывание, а также увеличение числа вариантов ответов. Чем больше вариантов ответов, тем ниже вероятность угадывания. Однако не следует увлекаться чрезмерным увеличением этого числа. Оптимальным считается 4-5, максимум 7 вариантов ответов.

Открытые задания. В открытых заданиях учащийся сам формулирует ответ в виде числа, формулы, слова и т. д. Эти задания очень нетехнологичны, однако делать их достаточно легко. И они часто используются педагогами в процессе текущего контроля.

Задания на соответствие. Данные задания рекомендуются для использования в текущем контроле. Обычно инструкция к таким заданиям выглядит так: «дополните», «установите соответствие».

Задания на установление правильной последовательности действий. Типовая инструкция представляется так: «установите правильную последовательность», «выстройте в правильной последовательности». Данный вид заданий удобно использовать при проверке знаний, например, по истории.

Итак, самые технологичные и удобные: закрытые задания при итоговом контроле, при обучении – открытые, при текущем контроле – задания на соответствие и на установление последовательности.

Существует группа требований, характерная для всех заданий.

1. Наличие стандартной инструкции.

2. Наличие фиксированных мест для текста задания, инструкций и ответа.

3. Наличие эталона (или эталонов) правильного ответа.

4. Наличие правила оценивания результата выполнения теста.

Как известно, тесты создаются в целях получения объективных и сопоставимых оценок знаний учащихся. Полнота отображения зависит от подхода к созданию теста.

Нормативно-ориентированный (norm-referenced) подход позволяет сравнивать учебные достижения отдельных учащихся друг с другом. Математические методы, применяемые при конструировании и оценке качества нормативно-ориентированных тестов, рассчитаны на модель нормального распределения и основываются в основном на корреляционном анализе.

Критериально-ориентированный (criterion-referenced) подход позволяет оценивать, в какой степени каждый учащийся овладел необходимым учебным материалом. Критериально-ориентированные тесты представляют собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должны быть усвоены учащимися.

Подход к интерпретации тестового балла является основным критерием для разделения тестов на нормативно- и критериально-ориентированные. Вместе с тем эти два типа тестов различаются и по методам конструирования, и по особенностям применения.

В рамках нормативно-ориентированного подхода результат каждого испытуемого трактуется по отношению к некоторым нормам выполнения теста, которые устанавливаются эмпирически на выборке испытуемых.

В критериально-ориентированном подходе результаты интерпретируются по отношению к некоторой содержательной области и описываются в терминах усвоенных знаний, умений и навыков. В этих тестах закладывается то, что можно принять за 100%.

Параметры	Нормативно-ориентированные тесты	Критериально-ориентированные тесты
Цель создания	Дифференциация (разделение учащихся по уровням)	Оценка достижений каждого учащегося по отношению к четко определенной области содержания
Задачи, решаемые с помощью теста	Интерпретируется результат каждого по отношению к результатам остальных (насколько Ученик1 лучше знает предмет, чем Ученик2)	Интерпретируется результат каждого по отношению к области содержания (как усвоил предмет Ученик1 и как усвоил предмет Ученик2)
Уровень детализации в отборе содержания	В содержание вносится только то, что нужно для дифференциации	Содержание теста должно включать 100% изученного материала
Подход к отбору задания	Отбирают задания с высокой дифференцирующей способностью (хорошо отделяющие слабых от сильных)	Отбираются задания для полноты охвата содержания
Объем выборки испытуемых	Большая, репрезентативная	Не имеет значения
Охват дисциплины в тесте	50-60 %	> 80 %
Подход к измерению	Относительное измерение	Абсолютное измерение

Несколько слов об области применения тестов. Для задачи аттестации целесообразно разрабатывать два субтеста: критериально-ориентированный тест (отсекаются неаттестованные учащиеся, не соответствующие требованию стандарта) и нормативно-ориентированный тест (производится оценка знаний). Для задачи приема абитуриентов: если конкурс 10 человек на место – следует использовать нормативно-ориентированные тесты для четкой дифференциации, если 1,5-2 человека на место – критериально-ориентированные тесты для более «мягкой» дифференциации. Для решения задачи рейтингования учащихся – только нормативно-ориентированные тесты.

Итак, проведено тестирование и получены его результаты. Прежде всего необходимо проанализировать распределение количества правильных ответов. Для этого расположим правильные ответы учащихся в координатах «Количество тестируемых – Количество правильных ответов».

На практике редко удастся это распределение сделать нормальным (кривая ‚). Однако если тестирование проводиться не только для выставления оценок учащимся, а и для анализа результатов обучения, необходимо стараться приблизить это распределение к нормальному.

Если распределение близко к кривой , то надо добавить в такой тест более легкие вопросы. Для распределения ƒ надо наоборот, добавить более сложные задания. А для распределения „ надо добавить средних заданий таким образом, чтобы приблизить его кривую по внешнему виду к кривой ‚.

Здесь же заметим, что нужно стремиться к унимодальному распределению (одна мода, стремящаяся к середине теста). То есть, если в тесте 100 заданий, наиболее популярный результат должен быть приблизительно 50. К тому же нужно стараться, чтобы среднее значение балла стремилось к середине теста (если всего в тесте 100 заданий, то среднее количество правильных ответов должно быть приблизительно 50).

Наиболее удобными для автоматизированной обработки и хранения результатов тестирования являются тесты с закрытой формой заданий. Характерные недостатки заданий закрытой формы с точки зрения математической обработки результатов и меры по их устранению (или по крайней мере учету) приведены ниже.

1. Два неправильных ответа на один и тот же вопрос оцениваются одинаково.

Можно ранжировать варианты ответов по «степени неправильности» (в корне неправильно; скорее неправильно, чем правильно; не совсем правильно и т. д.). Если испытуемый выбирает совершенно неправильный ответ, то можно говорить о том, что он не владеет данным вопросом.

1. Правильные ответы на два разных вопроса оцениваются одинаково.

Наиболее целесообразны здесь следующие решения:

• ранжирование вопросов по степени сложности;

• определение весовых коэффициентов для каждого вопроса.

1. Угадывание ответов.

Мерами устранения этого недостатка считаются следующие:

• увеличение числа вариантов ответов (оптимально 5-7 вариантов);

• ввод поправки на угадывание.

Формула коррекции индивидуального балла с учетом поправки:

где X – балл учащегося;

W – количество неправильно выполненных заданий в тесте;

N – число заданий в тесте (N = X + W);

K – число ответов к заданию (равно среднему по всему тесту);

Х’– скорректированный балл.

Из графика видно, что коррекция балла не несет принципиально новой информации. Соответственно, содержательный смысл этой поправки незначителен. Остается открытым вопрос о правомерности уменьшения полученного результата без особых доказательств наличия угадывания?

1. Добавление варианта ответа «нет правильного ответа». Этот один вариант ответа заменяет несколько дополнительных и снижает вероятность угадывания.

2. Введение для каждого вопроса теста вопроса-дублера, в котором в завуалированной форме повторяется содержание основного вопроса. Причем результаты ответов по вопросам-дублерам, не должны подвергаться общей математической обработке. В случае совпадения ответов на сам вопрос и вопрос-дублер можно с большей вероятностью судить о владении учащимся этим вопросом. В противном случае, имеем дело с чистым угадыванием.

3. Добавление варианта ответа «не знаю». Таким образом, при выборе данного варианта ответа – не учитывать его в параметре W в формуле коррекции.

Важная проблема тестов с закрытой формой заданий заключается в следующем: неизвестно, что побудило отвечающего выбрать тот или иной вариант ответа: отвечающий просто не угадал; из всех вариантов ответа этот кажется ему наиболее точным; или он абсолютно уверен в правильности выбираемого ответа. Интеллектуальный подход человека, не знающего ответа на вопрос, но осмысленно исключающего явно неправильные ответы, должен приветствоваться и соответствующим образом оцениваться. Предлагается сформировать на каждый вопрос теста две группы вариантов ответов: собственно варианты ответов и варианты уверенности в ответе. Тестируемый выбирает вариант ответа и степень уверенности в нем. Причем, «быть уверенным» можно как в дискретном виде (абсолютно уверен; почти уверен; скорее «да», чем «нет»; скорее «нет», чем «да»; почти не уверен и т.п.), так и в процентном (просто указать число в % своей уверенности). Эту величину можно обозначить как dr (degree of reliance – степень уверенности): dr = 0 ÷ 1,0.

Тогда балл испытуемого можно представить как

где x_ij – ответ i-го учащегося на j-ый вопрос.

При подсчете тестового балла негласно используется эта величина dr, она равна строго единице.