Навыки академического письма учащихся Республики Молдова: анализ 1 014 работ, оценённых на платформе Notiqo.io

Обсервационное исследование · апрель–июль 2026

Резюме

В исследовании проанализированы 1 014 заданий развёрнутого письма (эссе, аргументативные тексты, развёрнутые ответы с максимальным баллом не менее 6), написанных 309 учащимися Республики Молдова на платформе подготовки к экзаменам Notiqo.io в период с апреля по июль 2026 года. Каждая работа была автоматически оценена по критериям, производным от официальных схем оценивания, с индивидуальной формирующей обратной связью; пустые ответы и ответы короче 150 знаков были исключены. Результаты показывают средний балл 68% от максимума (медиана 71%); лишь 9% работ получили полный балл. Тематический анализ выявляет доминирующий и устойчивый для всех дисциплин паттерн: дефицит носит не содержательный, а методологический характер — недостаточное развитие идей (отмечено в 44–54% оценок), неполная аргументация (46–50%) и несоблюдение требуемой структуры (32–49%) в десятки раз превышают частоту замечаний о языковой правильности (1–4%). Объём работы умеренно и высоко значимо коррелирует с баллом (ρ Спирмена = 0,42; p < 0,001): верхний квартиль по объёму получает в среднем 78% против 55% у нижнего. В исследовании рассматриваются шесть репрезентативных кейсов, межпредметные различия и следствия для педагогической практики и образовательной политики.

1. Введение

Педагогические исследования давно установили, что формирующая обратная связь — конкретная, своевременная и ориентированная на задание — относится к воздействиям с наибольшим эффектом на обучение (Black & Wiliam, 1998; Hattie & Timperley, 2007). Однако в практике оценивания академического письма такая обратная связь хронически дефицитна: учитель, преподающий в шести классах, не может дать каждому ученику по каждому эссе критериальный разбор с индивидуальными рекомендациями. Ученик получает отметку; почему именно такую — узнаёт редко.

Развитие систем автоматической оценки письменных работ — от первых экспериментов (Page, 1966) до современных больших языковых моделей — впервые открывает возможность давать такую обратную связь в масштабе и одновременно получать агрегированные данные о навыках письма школьной популяции. Республика Молдова до сих пор не располагала подобным корпусом: результаты национальных экзаменов публикуются на уровне итоговой отметки, но систематических данных о том, по каким именно критериям учащиеся теряют баллы в заданиях на письмо, не существует.

Настоящее исследование использует данные платформы Notiqo.io — бесплатной платформы симуляции экзаменов (БАК, национальное оценивание за 9 класс) с автоматической оценкой и критериальной обратной связью — чтобы ответить на три вопроса: (1) Какого уровня достигают учащиеся в заданиях развёрнутого письма, когда действительно их выполняют? (2) Какие критерии оценивания концентрируют потери баллов? (3) Существуют ли систематические различия между дисциплинами и категориями учащихся?

2. Данные и методология

2.1 Платформа и механизм оценивания

Notiqo.io проводит тесты в формате, идентичном официальным экзаменам, с таймером. Объективные задания (множественный выбор, «верно/неверно», сопоставление, упорядочивание) оцениваются детерминированным движком с частичным начислением баллов. Открытые ответы оценивает большая языковая модель (Claude, Anthropic), получающая для каждого задания: формулировку, официальную схему оценивания, критерии, специфичные для дисциплины и ступени обучения, и ответ ученика. Модель возвращает балл по каждому критерию и формирующий комментарий. Ученик может оспорить оценку — тогда её пересматривает учитель.

2.2 Корпус

Из 8 810 тестов, начатых на платформе за рассматриваемый период (5 323 завершены, 2 853 уникальных учащихся), были отобраны задания развёрнутого письма: открытые задания с суммарным баллом не менее 6 (аргументативные эссе, объёмные функциональные тексты, развёрнутые ответы по источникам). Критерий включения — фактическое написание текста: не менее 150 знаков. Пустые и фрагментарные ответы — около половины всех предъявленных заданий на письмо — были полностью исключены, поскольку предмет исследования — навык письма, а не поведение отказа от задания (оно анализируется отдельно). Итоговый корпус: 1 014 работ от 309 учащихся.

Таблица 1. Структура корпуса. Балл выражен как доля от максимума задания.

2.3 Анализ

Балл каждой работы нормализован как отношение полученных баллов к максимуму задания. Тематический анализ обратной связи выполнен лексическим кодированием комментариев (индикаторные выражения для восьми категорий), частоты приводятся по трём диапазонам успеваемости. Связь «объём–балл» проверена непараметрически (коэффициент Спирмена). Все цитируемые примеры воспроизведены дословно (включая ошибки) и анонимизированы.

3. Результаты

3.1 Распределение результатов

Средний балл по корпусу — 68% от максимума (медиана 71%).

Таблица 2. Распределение нормализованных баллов (N = 1 014).

Центральный вывод: когда ученик действительно пишет работу, тяжёлая неудача становится редкой (12%), но и совершенство остаётся редким (9%). Основная масса корпуса — в зоне «функционально, но неполно»: работы демонстрируют понимание темы, но не выполняют требования схемы оценивания целиком.

3.2 Объём работы как предиктор балла

Связь между объёмом текста и полученным баллом умеренная и высоко статистически значимая (ρ = 0,42; p < 0,001; N = 1 014):

Таблица 3. Средний балл по квартилям объёма работы.

Интерпретация не в том, что оценивание премирует объём как таковой, а в том, что объём — материальное условие полноты: развитие идеи, конкретный пример и обоснованный аргумент — критерии с наибольшим весом в схеме оценивания — не умещаются в три строки. Разница в 23 процентных пункта между крайними квартилями эквивалентна, при эссе на 20 баллов, почти 5 баллам итоговой оценки.

3.3 Тематический анализ критериальной обратной связи

Таблица 4. Частота тематических категорий в комментариях оценивания по диапазонам успеваемости.

Напрашиваются два наблюдения. Во-первых, иерархия устойчива во всех диапазонах: развитие идей, аргументация и структура доминируют в обратной связи независимо от уровня работы — включая сильные работы, где комментарии становятся рекомендациями по доработке, а не констатацией отсутствия. Во-вторых, языковая правильность — традиционно воспринимаемая как центральный критерий «хорошего письма» — встречается маргинально (1–4%): в заданиях развёрнутого письма баллы теряются не на запятых, а на архитектуре текста.

4. Кейсы

Шесть кейсов ниже, отобранные как репрезентативные для статистически выявленных паттернов, воспроизведены без исправлений.

Кейс 1 — «работа-введение» (румынский язык, 42% баллов)

(«Детство — один из самых чистых и подлинных этапов человеческого существования... Считаю утверждение о детстве как эдемском состоянии полностью оправданным».) Ученик открывает безупречно, но текст останавливается после тезиса. Оценка: «Ты ясно выразил своё мнение и сформулировал релевантный тезис. Однако ответ был бы полнее, если бы включал два отдельных тезиса и конкретные аргументы, а также отсылки к двум текстам румынской литературы». Это доминирующий паттерн нижнего диапазона: умение начать есть; не хватает полного исполнения аргументативной схемы.

Кейс 2 — аргумент без опоры на источник (история, тест на русском языке, 20%)

Работа верно формулирует тезис о международном признании Великого объединения и обращается к источникам, но анализ обрывается. Оценка отмечает прямо: «ты начал анализировать источники, но не развил аргументацию». По истории, где схема оценивания требует использования источников А и Б и полной структуры, верное начало без развития удерживает работу в нижнем диапазоне.

Кейс 3 — пересказ, выданный за цитату (румынский для аллолингвов, 33%)

Задание требовало трёх аргументов, извлечённых из поэтического текста. Ученик приводит три правдоподобных пересказа, но оценка различает точно: «твои аргументы не извлечены непосредственно из текста, как требует задание... Второй аргумент о течении месяцев — общая интерпретация, а не конкретная цитата». Кейс иллюстрирует распространённую у аллолингвов методологическую путаницу: разницу между пересказать текст и доказать текстом.

Кейс 4 — количественное требование, упущенное на грани (румынский для аллолингвов, 50%)

Диалог об охране природы, оценённый хвалебно — «очень хорошо структурированный диалог... разнообразная лексика... полные реплики» — теряет, однако, половину баллов: «у тебя только пять реплик, а задание требовало шесть». Формальные баллы, начисляемые за простое соответствие требованию, остаются самыми дешёвыми в получении и самыми частыми в потере.

Кейс 5 — беглость без архитектуры (иностранный язык, 45%)

Эссе на английском с функциональной лексикой и валидными идеями получает диагноз, резюмирующий весь средний диапазон дисциплины: «your essay needs more structure and specific examples. Try to organize your ideas into clear paragraphs with an introduction, body and conclusion». По иностранному языку — дисциплине с самым низким общим средним баллом тестов (2,9) — проблема письменных работ не язык, а всё та же отсутствующая аргументативная архитектура.

Кейс 6 — полная работа (история, 100%)

Оценка перечисляет ровно критерии схемы: чёткая структура — введение, основная часть, заключение; хорошо обоснованные аргументы; верные отсылки к ключевым событиям и личностям (Александру Вайда-Воевод, Ион Пеливан). Ничего стилистически исключительного — просто требование, выполненное целиком. Работы с полным баллом в корпусе систематически разделяют эту черту: полнота, а не виртуозность.

5. Обсуждение

Результаты сходятся к выводу с прямыми следствиями для педагогической практики: дефицит академического письма молдавских учащихся — методологический, а не языковой и не содержательный. Пишущие ученики демонстрируют понимание тем (диапазон ≥70% охватывает 54% корпуса) и совершают мало наказуемых языковых ошибок; чем они не владеют — это протокол оцениваемого текста: схема «тезис–аргумент–пример–вывод», опора на источники, соответствие формальному требованию. Это структурно хорошая новость: протоколы преподаются и автоматизируются направляемой практикой значительно легче, чем восполняются содержательные пробелы.

Межпредметные различия уточняют картину. Румынский язык (72%) выигрывает от явной тренировки литературного эссе в классе; история (68%) страдает на опоре на источники; иностранный язык (67% по письменным работам при самом низком общем среднем балле тестов) и аллолингвы по румынскому (67%, с систематически более короткими работами — медиана 347 знаков против 920 у носителей) образуют зоны, оправдывающие приоритетное педагогическое вмешательство. Сниженный медианный объём работ аллолингвов указывает, что главный барьер — продуктивная беглость на втором языке, механически ограничивающая доступ к критериям развития и аргументации.

Корреляцию «объём–балл» (ρ = 0,42) стоит сообщать ученикам прямо: неразвёрнутая работа — не «лаконичная», а добровольно отказывающаяся от критериев с наибольшим весом в схеме оценивания.

6. Ограничения

Выборка самоотобранная (ученики, выбравшие практику на цифровой платформе) и статистически не репрезентативна для школьной популяции страны; распределение по дисциплинам неравномерно, малые подкорпусы (русский язык, математика, информатика) имеют лишь ориентировочную ценность. Автоматическая оценка, хотя и направляется официальными схемами, не идентична оцениванию на реальном экзамене; баллы следует читать как формирующую меру, а не как прогноз отметки. Тесты выполняются без ставок, что может снижать вложенное усилие. Тематическое кодирование обратной связи — лексическое, а не семантическое, и может недооценивать нетипично выраженные категории. Наконец, порог в 150 знаков для «написанной работы» — конвенция; анализ чувствительности с альтернативными порогами, однако, не меняет иерархию выводов.

7. Выводы и рекомендации

Для учащихся: результат в оцениваемом письме — вопрос процедурной полноты: развивай каждую идею, подкрепляй каждое утверждение примером или цитатой, выполняй формальное требование целиком, дописывай текст до конца.

Для учителей: данные показывают, куда стоит вкладывать учебное время — аргументативная схема и работа с источниками, а не (в первую очередь) правильность; повторяющаяся практика с немедленной критериальной обратной связью — механизм, превращающий протокол в автоматизм.

Для Министерства образования и исследований и педагогической науки: этот корпус — первый такого рода для Республики Молдова — демонстрирует осуществимость формирующего мониторинга навыков письма в масштабе, в реальном времени, по критериям, согласованным со схемами оценивания; его расширение до репрезентативной выборки дало бы системе диагностический инструмент, который нынешние суммативные оценивания произвести не могут. Агрегированные данные остаются доступными заинтересованным институциям и исследователям.

Библиография

Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7–74.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112.

Page, E. B. (1966). The imminence of grading essays by computer. Phi Delta Kappan, 47(5), 238–243.

Методологическое и этическое примечание: данные получены из производственной базы Notiqo.io (экспорт: 10 июля 2026) и обработаны исключительно в агрегированном виде. Цитируемые фрагменты анонимизированы; ни одна работа и ни один учащийся не могут быть идентифицированы. Контакт: hello@notiqo.io.