Анжеліка Кернична, Григорій Рій та Євген Ніколаєв
Ми продовжуємо серію аналітичних матеріалів, присвячених аналізу минулорічного НМТ. Перший матеріал стосувався ключових нюансів оновлених у 2022 році правил прийому до закладів вищої освіти. У другій частині ми зосередилися на особливостях НМТ як формату тестування і результатів його складання у розрізі окремих предметів, а також порівняли результати складання НМТ, отримані учасниками, які проходили тестування в Україні й за кордоном.
Поточна публікація має на меті порівняти результати, отримані учасниками під час проходження НМТ в основну, додаткову та спеціальну сесію. Ми хочемо відповісти на запитання: чи справді учасники пізніших сесій НМТ отримали кращий результат, зокрема через повтори тестових запитань?
Нагадаємо, що кожен учасник складав тести з усіх трьох включених до НМТ предметів (української мови, математики та історії України) в один день. Тест проводився у комп’ютерній формі в декілька сесій, адже комп’ютерні зали центрів тестування не могли за один день вмістити усіх охочих. Основні сесії НМТ відбулися 22, 25, 26, 27, 28, 29 липня та 01, 02, 03, 04 серпня, додаткові — 17 та 18 серпня, а спеціальну сесію було проведено 14 вересня. Через дуже стислі строки підготовки завдань для НМТ виникла проблема можливого повтору окремих тестових запитань у завданнях для різних сесій. Це стало приводом для дискусії про те, що учасники пізніших сесій НМТ у підсумку могли отримати кращі результати,ніж ті, хто складав НМТ у попередні дні, бо мали змогу ознайомитися з попередніми тестовими формами.
Цей матеріал перевіряє наведену гіпотезу. Для цього ми аналізуємо знеособлені дані УЦОЯО про результати НМТ у розрізі предметів і дат проведення НМТ, а також результати складання НМТ за кордоном. Ми покажемо ці дані у двох розрізах. По-перше, ми подивимося на показник частки осіб, які отримали високі бали, серед усіх учасників НМТ, які складали цей тест в один день. Якщо цей відсоток зростає у кожен наступний день проведення тестування, то ймовірно, що учасники НМТ, які проходили тестування пізніше, перебували у кращих умовах. По-друге, для кожного окремого предмета НМТ ми побудуємо графіки балів усіх учасників НМТ з поділом за датами тестування, і це буде ще однією підставою для відповіді на порушене в цьому матеріалі запитання.
Дані про результати складання НМТ у розрізі окремих предметів особами, які проходили тестування на території України, не свідчать про покращення балів учасників тих сесій, які було проведено пізніше. Навпаки, що далі від дати складання НМТ першими учасниками, то нижчою є частка тих, хто набрав високі бали (наприклад, на Рис. 1 — у діапазоні 180–200 балів) серед усіх учасників тестування за відповідний день. Ця тенденція особливо виразна для української мови, тоді як результати учасників тестування з історії України та математики упродовж основної сесії знижуються повільніше. Суттєве погіршення результатів учасників додаткової та спеціальної сесій НМТ, за словами представників УЦОЯО, не є несподіваним: така сама тенденція погіршення результатів на «додаткових» сесіях мала місце під час проведення ЗНО у попередні роки.
Рисунок 1. Частка осіб, які складали тест в Україні та отримали 180–200 балів з окремих предметів, від загальної кількості учасників НМТ за певний день, % (рожевим тлом позначено дати проведення додаткової та спеціальної сесій НМТ)
Динаміка успішності складання НМТ за кордоном відрізняється від тестування, яке відбувалося на території України. Результати учасників НМТ за кордоном достатньо стабільні упродовж усіх днів основної сесії та незначно погіршуються на додатковій сесії (Рис. 2; спеціальна сесія НМТ за межами України у 2022 році не проводилась). Цей результат, припускаємо, можна пояснити різницею в безпекових умовах, що залежали безпосередньо від місця перебування вступників та їхнього психологічного стану і впливали на їхню мотивацію отримати кращі результати.
Рисунок 2. Частка осіб, які складали тест за кордоном та отримали 180–200 балів з окремих предметів, від загальної кількості учасників НМТ за певний день, % (рожевим тлом позначено дати проведення додаткової сесії НМТ)
Динаміка результатів учасників НМТ для інших діапазонів «високих» балів загалом схожа. Пропонуємо нашим читачам самостійно «погратися» з відповідними даними в Excel-документі за посиланням.
Графічне представлення результатів НМТ в інший спосіб так само не підтверджує гіпотезу про більш успішне складання цього тесту тими, хто виконував відповідні завдання пізніше. На Рис. 3 показано розподіл балів усіх учасників НМТ за різними предметами — складовими тесту — із суміщенням графіків за датами складання НМТ. Можна бачити, що упродовж основної сесії бали учасників розподілено у подібний спосіб (лінії щільно переплетено), тоді як результати учасників додаткової та спеціальної сесій (штрихові лінії на графіку) помітно гірші.
Рисунок 3. Розподіл балів учасників НМТ (в Україні й за кордоном разом) у розрізі дат складання (додаткову і спеціальну сесії для наочності позначено штриховими лініями)
Отже, можемо констатувати, що повтори завдань не мали великого впливу на успішність складання НМТ у кожен наступний день основної, додаткової та спеціальної сесій в Україні. Учасники останніх двох сесій показали гірші результати, ніж учасники основної сесії. Тому думка про те, що учасники, які пізніше складали тест, отримали кращі результати через повтори тестових завдань, не отримала свого підтвердження. Дещо іншою є ситуація з результатами, отриманими за кордоном, де учасники складання тесту перебували у кращій психологічній ситуації. Їхні бали не зазнали такого стрімкого падіння з кожним наступним днем проведення тестування, як у тих абітурієнтів, які складали НМТ в Україні, і вони більш-менш рівномірно розподіляються між різними сесіями складання тесту. Попри спростування гіпотези про те, що учасники пізніших сесій могли отримати кращі результати через повторення тестових завдань, на наше переконання, в НМТ 2023 року потрібно напрацьовувати і збільшувати банк тестових завдань, що дозволить більш гнучко формувати відмінні між собою тестові форми для різних днів та сесій складання НМТ.
Публікацію підготовлено в рамках Ініціативи з розвитку аналітичних центрів в Україні, яку впроваджує Міжнародний фонд «Відродження» у партнерстві з Ініціативою відкритого суспільства для Європи (OSIFE) за фінансової підтримки Посольства Швеції в Україні.
Думки та позиції, викладені в цій публікації, є позицією авторів та не обов’язково відображають позицію Посольства Швеції в Україні, Міжнародного фонду «Відродження» та Ініціативи відкритого суспільства для Європи (OSIFE).
