Современные информационные технологии в образовании

ОГУ, 2005 г
В.А. Красильникова
Тема лекции 3: Компьютерное тестирование. Этапы и

алгоритмы разработки заданий для компьютерного тестирования

этап – экспериментальной проверки, апробации

1 этап. Постановка тестового задания очень

ответственный этап. Процедуру разработки тестового задания следует выполнять в соответствии с ранее рассмотренными принципами и требованиями, проведя:
тщательный анализ формулировки задания по отношению к содержанию знания;
выстраивание заданий в порядке предполагаемой трудности для облегчения выполнения следующего этапа экспериментального отбора тестовых заданий.

являются:
определение трудности задания и оценки пригодности,
определение заданий,

которые имеют существенные недостатки,
определение временных параметров выполнения заданий,
анализ норм тестовых заданий,
выявление случайных ошибок и неточностей, недостатков в инструкции.
По статистике специалистов до 50 % тестовых заданий, без экспериментальной проверки, не пригодны для определения уровня и структуры знаний.

испытуемыми, исключаются из теста;
задания, с которыми не справился ни

один из испытуемых, также исключаются. В тесте остаются задания, с которыми справились один или несколько человек.
задания одинаковой сложности варьируются в сторону их упрощения или усложнения,
отбираются «несостоятельные» задания с целью выявления их некорректности ( например, легкие задания, с которыми не справился сильный студент исключаются или подлежат доработке).

меньшую информацию несет оно о дифференциации учащихся и студентов в

учебных учреждениях.

Чем ближе уровень трудности задания к 0,50, тем большими различительными возможностями она обладает.

Трудность (сложность) является особенностью не только тестового задания, но и теста в целом. Тест может состоять как из простых субъектов, так и из сложных. В общем виде, трудность (сложность) может быть субъективно-статистической.

материала;
методикой преподавания;
подготовленностью аудитории;
фактором времени;
дидактическими возможностями техники.

приобретает особенное значение и в первую очередь определяет эффективность обучения.

Включение в контрольно-обучающие программы (КОП) обучающих заданий различного вида и различных алгоритмов выполнения позволяет обеспечить настройку обучения, реализуемого в КОП, на различный тип мыслительной деятельности обучающегося, что, безусловно, не может не отразиться на результативности обучения и, особенно, на начальном этапе формирования знаний.
Рассмотрим некоторые типы обучающих заданий по принципу реализованного в них алгоритма действий, которые желательно применять при подготовке контрольно-обучающих курсов.

обобщающее задание, которое имеет ряд возможностей и недостатков:
− такое

задание проще сформулировать; −   сразу можно проконтролировать больший объем материала; − с другой стороны, в таком алгоритме меньше эффективности, т.к. нет текущего контроля по темам и возможности корректирования ошибочных действий обучающихся.

возможность изучения независимых тем в произвольном порядке;
−      представленные к изучению

темы логически завершены и порядок их изучения может быть произволен;
−      такой алгоритм постановки обучающих заданий пригоден для итогового контроля по блоку дисциплин или несвязанных тем.

более трудоемким процессом при подготовке обучающего материала;
−  более эффективной для автоматизированной

формы обучения (контроля), особенно при самостоятельной проработке материала, поскольку отслеживаются ошибочные действия обучающегося на каждом этапе работы. Следует обратить внимание, что выбору определенного алгоритма постановки обучающих заданий должен предшествовать этап структуризации курса или раздела курса, это достаточно сложно, но в значительной мере повышает эффективность изложения материала.

и 3 типов.

– это утверждение, имеющее однозначный ответ.
2 Другой

подход к форме теста менее жесткий и для постановки контролирующего задания можно использовать: задание-утверждение, задание-вопрос, задание-задачу.
С нашей точки зрения, правомерны оба подхода, поскольку не всегда форма задания в виде утверждения упрощает, делает наглядным постановку задания и повышает степень его восприятия/понимания. Кроме того, с точки зрения обучающегося более привычным является задание-вопрос, задание-задача. Рассматривать будем все формы постановки задания, главное, что задание, поставленное для компьютерной среды, должно отвечать ряду требований (рассмотрены ранее) и, в первую очередь, – однозначности восприятия, а это, в свою очередь, влечет за собой другие характеристики задания для работы в автоматизированной среде: четкость, полнота постановки, непротиворечивость и другие характеристики этой наиболее важной в обучении дидактической единицы. Для обучения удобнее ставить задания в форме вопроса.

и совокупности предполагаемых ответов.
Пример, наиболее типичной постановки задания в форме

утверждения:
Средневековый Университет в случае своего несогласия с городскими правилами …
◻ - изменял свой устав
- закрывался
- переезжал в другой город
- изменял устав города
- переизбирал ректора и деканов
- переформировался

вопросов, которые рекомендуется представлять в режиме компьютерного обучения.

вопросу номер правильного ответа (или написать – правильного ответа нет).
Обращаем

внимание на то, что количество вопросов в этом алгоритме может быть как равно количеству ответов, так и меньше.

один ответ.

Обучение с помощью предметного алгоритма один из путей достижения необходимого

уровня подготовленности специалиста и это далеко не всегда приводит к шаблону мышления, а скорее прививает правильный и рациональный подход к выполнению определенной работы. Вряд ли кто-либо станет отрицать, что выполнение большинства математических расчетов выполняются по определенным алгоритмам и это отнюдь не приводит к шаблону мышления, о котором так много говорят противники автоматизированного метода обучения. Вопрос скорее нужно поставить в такой плоскости: насколько корректен и рационален предложенный алгоритм действий? Нам представляется особенно важным именно на начальных этапах выполнения действий показать правильный порядок выполнения отдельных операций.

их следования, или наоборот исключить нежелательные и лишние операции. Дана

ситуация, дан алгоритм достижения цели, показан порядок действий или просто перечень необходимых действий, возможно и лишних или противопоказанных действий.
Способ постановки обучающих заданий на исключение ненужных или вредных действий очень эффективен, поскольку позволяет в подсказке (или других типов пояснений) раскрыть суть неправильных действий (раскрыть и локализовать ошибки) и их последствия. Для повышения эффективности обучения в заключение такого типа обучающих заданий необходимо указать упорядоченную наиболее эффективную или просто рациональную последовательность действий для достижения цели.

слов.
6 – алгоритм ассоциации:
Суть алгоритма: соотнесение описанного действия, представленного схемой,

рисунком с проблемной ситуацией. Этот алгоритм можно сделать внешне очень эффектным, но малоэффективным, по нашему мнению и опыту постановки в различных обучающих заданиях для автоматизированной среды обучения «ИСТОК», поскольку у каждого обучающегося могут возникнуть свои ассоциации увиденного.

Но на этом типе вопросов в нашем опыте также обнаружены

особенности постановки таких вопросов, особенно на первых этапах работы, суть которых можно свести к понятию целочисленные и нецелочисленные расчеты.
8 – алгоритм ситуативный:
Суть алгоритма: ставится проблема, возможна комбинированная с другими областями, необходимо предложить конкретное решение. Это очень интересный тип обучающих заданий, где требуется широкая эрудиция преподавателя и не только в той предметной области, для которой строится система контроля. Этот тип обучающих заданий имеет смысл, с нашей точки зрения предлагать для группового ролевого контроля.

предметной среды построить модель заданного процесса или ситуации. Этот тип

обучающего задания становится доступен на современном уровне развития компьютерных технологий обучения, поскольку для его реализации необходимы интерактивное погружение в среду и повышенные требования к технике. В настоящий период созданы программы, моделирующие различные динамические процессы, позволяющие управлять ими на уровне изменения параметров смоделированных лабораторных стендов. Но эти программы достаточны дороги, ранее были, практически, малодоступны.

регламентирован той программной средой, специально разработанной для ведения ролевых игр,

широко распространен в коммерческом игровом бизнесе, для учебных целей имеет большой интерес.
11 – алгоритм комплексный сочетание в различных комбинациях ранее рассмотренные алгоритмы.

собой активизирующую часть обучающего материала – побуждают к действию, пробуждают

интерес к учебе. Упражнения должны иметь практическую значимость. Преподаватель не должен «сбиваться» на придумывание упражнений ради упражнений, хитроумных загадок и головоломок. Упражнения предполагают формирование определенных умений применения теории. Упражнения можно классифицировать по характеру взаимодействия с изучаемым материалом.

должно быть ориентировано на проверку значимых понятий и элементов содержания

предмета контроля и получение от тестируемого однозначного заключения.
Основные термины контрольного задания должны быть явно и ясно определены.
Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов.
Тестовые задания могут быть сформулированы в виде кратких суждений, четко поставленных вопросов, и конкретных задач.
Следует избегать контрольных заданий, которые требуют от испытуемых развернутых заключений при выполнении контрольных заданий.
При конструировании контрольных заданий можно применять различные формы их представления, а также графические и мультимедийные компоненты не только с целью рационального предъявления содержания учебного материала, но и при постановке контрольного задания, требующего графическую форму ответа.

при этом не искажается понятийная структура постановки задания. Главным считается

ясное и явное отражение содержания фрагмента предметной области. Но лучше воспользоваться ТЕЗИСОМ - Лучше «длинный» вопрос и «короткие» ответы, чем наоборот.
Содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний.
Не следует при подготовке тестовых заданий использовать задания составного характера, при ответе на которое правильность выполнения одного задания зависела бы от правильности выполнения другого задания этого же субтеста.
В тексте контрольного задания не должно быть непреднамеренных подсказок и сленга.
Недопустимы заключения типа: все выше перечисленное верно, все указанные ответы неверны и т.д.
В задании не использовать слова , которые понимаются у различных людей по разному: иногда, часто, всегда, иногда, все, никогда и т.п.

продолжение

дисциплины.
Ни в тексте, ни в ответах не должно быть подсказок.
В

контрольном задании не должно отображаться субъективное мнение или понимание отдельного автора по изучаемому материалу.
В заданиях не должно быть заключений, вариантов ответов:
заведомо ложных
содержащих подсказку
явно выделяющихся, обособленных.
Задание должно быть составлено с учетом того, что среднее время формирования заключения тестируемого со средним уровнем обученности не должна превышать 2-3 х минут (определяется эмпирически при прогонке задания).
Среднее время ответа студента на контрольное задание определяется установкой преподавателя – автора контрольного задания.

можно больше тестов хороших и разных». По сути для начала

нормальной работы необходимо не менее 200-300 заданий по конкретному предмету.
19. При постановке задания нужно учитывать, что все задание должно размещаться на экране без прокрутки.
20.При конструировании задания не следует оценивать регистрозависимость символов в ответе.

Формы контрольных компьютерных заданий могут быть:

а) открытого типа – дополнение недостающих ключевых слов; вычислительного характера;
б) закрытого типа: на упорядочение; на соответствие; на классификацию; на исключение;
в) на конструирование ответа, фраз, моделей из готовых фрагментов;
г) графического типа

продолжение

компоненты.
Аудио компоненты и видеофрагменты при визуализации тестового задания должны

представляться в виде условного общепринятого и понятного тестируемому графического символа и активизироваться тестируемым (например, щелчком мыши). Количество активаций аудио и видеофрагментов может быть ограничено.

На сайте подготовки единого государственного экзамена в компьютерной форме («Центр гуманитарных технологий» под руководством Шмелева представлен очень минтересный и разнообразный материал для тестирования школьников и абитуриентов.

Адрес сайта http://www.ege.ru/

Адрес сайта Центра профессионального тестирования http://www.ast-centre.ru