Аналіз тесту

Робота над тестами (виходячи з педагогічного задуму) починається із створення завдань у тестовій формі. Кожне таке завдання повинно пройти випробування з метою перетворення його у тестове завдання. Одним з видів випробувань є емпірична перевірка властивостей тестового завдання. Така перевірка будується на основі результатів тестування, під час якої розраховуються його статистичні характеристики. Визначення статистичних характеристик є головним засобом (після експертної перевірки змісту) діагностики тестових властивостей завдання.

Модуль діяльності Moodle Тест (quiz) має вбудований аналізатор, за допомогою якого на основі проведених тестувань розраховуються статистичні характеристики тестових завдань. В основу розрахунків покладена класична теорія тестів. Результати аналізу показуються у таблиці даних аналізу.

Таблиця статистичних характеристик завдань містить наступні стовпчики:

• ID ТЗ - унікальний номер тестового завдання у системі Moodle.
• Зміст завдання - текст змісту завдання.
• Відповіді - варіанти відповідей, які обрані (введені) особами при тестуванні.
• Відносна оцінка варіанту - оцінка варіанту відповіді, яка задана при створенні або редагуванні завдання, і яка приведена до одиниці.
• Кількість (відповідей / тестувань) - скільки разів варіант відповіді був обраний при тестуванні / загальне число тестувань.
• Частка обрання варіанту - частка обрання варіанту відповіді у загальному числі тестувань, процент.
• Рівень легкості - міра легкості (РЛ) завдання для осіб, які будуть проходити тестування у майбутньому, процент.
  Розрахунок рівня легкості виконується за формулою
  

  РЛ = (N_вірн) / N_макс,

  де N_вірн - число спроб тестування, в яких обрано вірний варіант відповіді на завдання;
       N_макс - загальне число спроб тестування у цьому тесті.

  Для завдань з дихотомічною оцінкою (1 або 0), ця характеристика показує, яка частка студентів (у %) відповіла на завдання вірно.

  Якщо РЛ = 100% (усі студенти відповіли вірно) або 0% (усі студенти відповіли не вірно), то таке завдання не є тестовим і його треба вилучити із цього тесту.

• СКВ - середньоквадратичне відхилення (СКВ) індивідуальних оцінок від середньої оцінки за завдання для всіх осіб, які пройшли тестування.
  Якщо всі особи дадуть вірну відповідь на завдання, то СКВ = 0. СКВ є загальноприйнятою мірою варіації тестових балів.

Наступні дві характеристики тестових завдань визначаються за допомогою методів дискримінантного аналізу. Задачею дискримінантного аналізу є віднесення об'єкту, якій характеризується значенням обраного для аналізу параметра, до одній із груп, які, у свою чергу, мають свій розподіл.

• Дискрим. індекс - індекс дискримінації (ІД). Індекс дискримінації є грубою оцінкою розподілу тестових завдань на такі, що відповідають вимогам педагогічного вимірювання, і такі, що не відповідають таким вимогам.
  Всі завдання розподіляються на три групи.
  Перша група містить завдання, для яких у спробах обрано вірних варіантів стільки, що їх сумарна оцінка перевищує рівень 2/3 від максимальної оцінки за тест.
  Третя група містить завдання, для яких у спробах обрано вірних варіантів стільки, що їх сумарна оцінка нижче за рівень 1/3 від максимальної оцінки за тест.
  Друга група містить усі інші завдання.
  Значення індексу дискримінації розраховується за формулою:

  ІД = (Х₁-Х₃) / Х_макс,

  де Х₁- сума балів за це завдання, які були отриманні при тестуванні, що по завершенні мають високу оцінку за тест;
       Х₃ - сума балів за це завдання випробувань з низькою оцінкою за тест;
       Х_макс - максимальний бал за це завдання (найбільша сума балів, яку можливо отримати за це завдання, якщо всі випробування, що мають високу або низьку оцінку за тест були успішними).
  Індекс дискримінації приймає значення від -1 до 1. Якщо значення індексу дискримінації для завдання близько до 0, то таке завдання або занадто легке, або занадто важке для студентів.

• КД - коефіцієнт дискримінації. Коефіцієнт дискримінації на відміну від індексу дискримінації розраховується для всіх спроб одразу (без поділу на групи), що дає більш об'єктивний аналіз тестового завдання.
  Так само, як і індекс, коефіцієнт дискримінації приймає значення від -1 до 1.
  Чим більше завдань з коефіцієнтом дискримінації, значення якого близько чи дорівнює 1, тим більш професійно складено тест.