AI в квалиметрии компетенций

Предпосылки и проблематика

Традиционная форма образования принята с первых европейских университетов [1] и продолжает использоваться в образовательных учреждениях с устаревшей консервативной системой управления. Кроме ключевых недостатков традиционной образовательной системы можно отметить ориентированность контингента на память, а не мышление, запрет обучающимся излагать свои идеи и мнение, субъективность оценивания знаний, отсутствие в процессе обучения учета индивидуальных особенностей студента, сложность с исчерпывающим контролем уровня знаний каждого экзаменуемого.

В наши дни инновационными методами обучения, заслужившими популярность, являются «мозговой штурм», игровые и кейс-методы, рабочая дискуссия, проектное обучение, обучение в виртуальном пространстве и т.д. Их использование стимулирует творческое мышление контингента, способствует решению задач нетривиальным способом. Тем не менее, и в этом случае зачастую оценка знаний сводится к традиционному экзамену по «лотерейным» билетам. Некоторые образовательные учреждения вводят балльно-рейтинговую систему и электронное тестирование, но и указанные механизмы не лишены недостатков – детерминизм, отсутствие индивидуализации образования, ненормированность шкалы оценивания.

С 2016 года наблюдается повышенный интерес известных российских учёных и школ в области искусственного интеллекта к цифровой квалиметрии компетенций обучающихся с применением недетерминированных алгоритмов, нейронных сетей и нечеткой логики. Ниже приведена выборка научных материалов по данной тематике.

1. Юсов, А. Б. Повышение объективности оценки знаний в вузе // Воспитание и обучение: теория, методика и практика : Сборник материалов IV Международной научно-практической конференции, Чебоксары, 2015. – С. 43-45.
2. Джойс, Э. А. Проблемы системы оценивания знаний в Российской Федерации // Ярославский педагогический вестник. – 2016. – № 6. – С. 14-18.
3. Шалова, С. Ю. Отношение студентов к разным системам контроля и оценки в высшей школе / С. Ю. Шалова, Д. С. Токмакова, А. О. Дудченко // Мир науки. – 2017. – Т. 5, № 1. – С. 24.
4. Ефимова, И. Э. Педагогическая квалиметрия как средство повышения качества образования в российских вузах / И. Э. Ефимова // Академическая публицистика. – 2018. – № 12. – С. 225-231.
5. Григораш, О. В. Оценка эффективности деятельности вузов и качества образования студентов // Известия Южного федерального университета. Педагогические науки. – 2018. – № 7. – С. 123-130.
6. Хамова, С. Н. Соотношение объективного и субъективного компонентов в оценивании знаний студентов высшего учебного заведения / С. Н. Хамова // Педагогический журнал. – 2019. – Т. 9, № 6-1. – С. 341-353. 7. Артебякина, О. В. Специфика построения информационных систем в области управления образованием / О. В. Артебякина // Педагогический журнал. – 2022. – Т. 12, № 2-1. – С. 42-48.
8. Интеллектуализация процесса оценки компетенций в ходе тестирования / В. Н. Гусятников, Т. Н. Соколова, А. И. Безруков, И. В. Каюкова // Информатизация образования и методика электронного обучения: цифровые технологии в образовании : материалы VI Международной научной конференции в трех частях, Красноярск, 20–23 сентября 2022 года. Том Часть 1. – Красноярск: Красноярский государственный педагогический университет им. В.П. Астафьева, 2022. – С. 36-40.
9. Зорина, Я. Л. Квалиметрия как инструмент разрешения противоречия в современном образовании / Я. Л. Зорина, О. Н. Малахова, И. Т. Русских // Молодежная наука: тенденции развития. – 2023. – № 1. – С. 6-13.
10. Бороненко, Т. А. Современные модели цифровой трансформации университетской образовательной среды / Т. А. Бороненко, Е. Н. Мизенко // Вектор гуманитарной мысли. – 2023. – № 2. – С. 37-52.
11. Использование методов искусственного интеллекта для оценки компетенций в ходе тестирования / В. Н. Гусятников, Т. Н. Соколова, А. И. Безруков, И. В. Каюкова // Информатика и образование. – 2023. – Т. 38, № 6. – С. 75-85.
12. Монахова, Л. Ю. Квалиметрия современного образовательного процесса / Л. Ю. Монахова, В. В. Курдубова // Современное образование: содержание, технологии, качество. – 2024. – Т. 1. – С. 218-221.
13. Алгоритм оценки качества учебного процесса в высшей школе на основе обратной связи от студентов / Е. Ю. Бурсиан, А. М. Демин, О. В. Проурзин, Е. В. Рунев // Наука и бизнес: пути развития. – 2024. – № 2(152). – С. 8-11.
14. Калайдов, А. Н. Пути развития образовательных технологий в условиях цифровизации системы высшего образования / А. Н. Калайдов, А. А. Рюкина // Безопасность в современном мире. – 2024. – № 3(4). – С. 20-25.
15. Жарикова, Е. Г. Мониторинг результатов обучения студентов технического университета / Е. Г. Жарикова, Е. Т. Китова // Высшее образование сегодня. – 2024. – № 1. – С. 40-49.
16. Сережкина, А. Е. Внедрение искусственного интеллекта в практику высшей школы // Primo Aspectu. – 2024. – № 3(59). – С. 65-70.
17. Применение цифрового следа образовательных интеллектуальных технологий / Л. Ш. Багдасарян, А. Х. Ардеев, Т. А. Куликова, Н. А. Поддубная // Вестник Северо-Кавказского федерального университета. – 2024. – № 2(101). – С. 150-157.
18. Черепков, А. Ю. Инструментально-методическое обеспечение оценивания и прогнозирования знаний в педагогическом процессе / А. Ю. Черепков, О. В. Дружинина // Нелинейный мир. – 2024. – Т. 22, № 1. – С. 15-21.
19. Исаев, А. В. Актуальные тренды нейросетей в образовании / А. В. Исаев, А. В. Свищев // Международный журнал гуманитарных и естественных наук. – 2024. – № 11-1(98). – С. 118-123.
20. Букина, Т. В. Искусственный интеллект в образовании: современное состояние и перспективы развития / Т. В. Букина // Общество: социология, психология, педагогика. – 2025. – № 1(129). – С. 76-83.

Из представленного перечня видим актуальность проблематики системы оценивания знаний в Российской Федерации, а также условное деление развития квалиметрии в образовании на три этапа:

До 1999 года при высокой степени развитости систем тестирования, основанных на бланковых или электронных тестах, студентам выборочно предоставлялись вопросы с одиночным, множественным или свободным вариантом ответа. Тесты могли также быть на сопоставление, исключение, выбор и т.д. В итоге, студент получал количество набранных баллов, переводимых в оценку по выбранной установленной шкале. Экзамен планировался преимущественно с живым экзаменатором.

С 1999 и примерно до 2022 года многие российские образовательные учреждения используют инновационную методику фиксации и учета результатов семестровой (триместровой) работы студента в модульной кредитно-накопительной балльно-рейтинговой системе [2]. Как показывает практика, правильное использование подобных инноваций в образовании действительно стимулирует студента, повышает качество его работы в течение текущего и сессионного периода. Бланковое тестирование проводится всё реже, но при необходимости, для тестов с небольшим количеством вопросов весьма интересно традиционно (на бланках) увидеть, как студент «думал», ошибался, исправлял ответы, чего не увидеть при электронном тестировании.

С 2017 года наблюдается стремительная эволюция технологии LLM (Большая Языковая Модель), развитие которой положила еще в начале 90-х фирма IBM. LLM - вид программного средства, которое на основе нейросети может распознавать и генерировать текст. Нейросеть для LLM включает множество параметров (обычно миллиарды весовых коэффициентов и более), обучается на неразмеченном тексте большого объема и не требует при обучении участия человека. Термин «большой» в названии больших языковых моделей характеризует два ключевых аспекта: количество параметров и объём обучающих данных. Примерно в одно время появилась масса Генеративных Предобученных Трансформеров (GPT), разработанных ведущими мировыми IT-корпорациями для интерактивного информационного поиска. Примеры LLM: ChatGPT от OpenAI, Bard от Google, Llama от Meta, Bing от Microsoft, YandexGPT от «Яндекса», GigaChat от «Сбера». Пользователь сети Интернет начал «общаться» с поисковыми системами как с живым собеседником. LLM вошли в коммерцию, call-центры, стали неотъемлемой частью многих социально-технических систем, бизнеса, индустрии развлечений. Они способствовали сокращению продавцов-консультантов и операторов служб поддержки. LLM пишут программы, технические тексты, сочинения, дипломные работы. Они являются основой современных чат-ботов и интеллектуальных мессенджеров. Внедряемые мультимодальные системы (анализируют данных из нескольких источников) используются для оптимизации бизнеса. И несмотря на то, что Правительство РФ настаивает на применение в образовании искусственного интеллекта (AI), многие учреждения «упираются». Причины: консервативный уклад, страх преподавателей быть вымещенными AI и оказаться на улице, реактивная политика руководства направлена на действие только после получения предписаний.

Формализация

Абстрагируясь от социально-политических и правовых аспектов сконцентрируем внимание на технических в проекте разработки системы интеллектуальной квалиметрии компетенций. Формализованное описание, представленное на рисунке ниже, устанавливает логические связи между входными данными, параметрами настройки и результатами работы LLM в процессе оценивания компетенций.

X – вектор входных данных, где C – экзаменуемый, M – учебный материал, L – степень сложности оценивания. U – вектор параметров настройки, где S – шкала оценивания, G – учет грамматики, R – учет регистра, T – длительность экзамена, N – количество вопросов в собеседовании. Y – вектор выходных данных, где P – протокол-стенограмма диалога экзаменуемого с AI-экзаменатором, V – оценка по шкале S.

Постановка задачи: для экзаменуемого C по учебному материалу M с учетом сложности L подготовить сценарий собеседования, провести диалог с экзаменуемым с регистрацией ответов и в соответствии с настройками G и R сформировать рекомендуемую оценку за ответы по шкале S.

Обзор рынка

Рассмотрим существующие программные решения, пригодные для развертывания в образовательном учреждении интеллектуальной оценки знаний.

1. AI-Экзаменатор от «CODE INSIDE» (источник: https://codeinside.ru/ai-examiner) – нейросетевая система точной проверки знаний студентов. Проводит анализ лабораторных, онлайн-интервью студентов с персонализированными вопросами и формирование отчётов для повышения качества обучения. Является агентом на базе LLM.

Преимущества:
● объективность и точность оценки;
● снижение нагрузки на преподавателей;
● персонализированный подход;
● развитие ключевых навыков;
● экономия времени преподавателя (50-70%).

2. Нейро-экзаменатор от «NEURO STAFF» (источник: https://neuro-staff.com/nejro-ekzamenator) – составляет экзаменационные вопросы, задает их, оценивает ответ и дает обратную связь по ответам. Ориентирован на студентов и работников предприятия.

Отличия нейро-экзаменатора от живого экзаменатора:

3. Monic.ai (источник: https://monic.ai) – универсальная платформа для обучения на основе искусственного интеллекта. Monic.ai предлагает набор инструментов для создания персонализированных учебных материалов, включая викторины, карточки и конспекты. Основной функционал платформы:
■ конспектирование и персонализация учебных материалов;
■ онлайн-чат для ответа на вопросы и получения новых знаний;
■ создание тестов для оценки знаний на основе загруженного материала;
■ самопроверка методом интервального повторения и моделирования экзамена с ограничением по времени;
■ персонализированный AI-тъютор для индивидуальной работы и координации процесса обучения.

Алгоритм и программная реализация

Образовательное учреждение может использовать стороннюю платформу из вышеперечисленных для ее интеграции в свою электронную образовательную среду, может воспользоваться программным интерфейсом существующей GPT-системы, например, GigaChat. Наиболее сложный, но осуществимый вариант - разработка своей генеративной нейросети, но в этом нужда и целесообразность уже невысокая. В данном проекте используется LLM «GigaChat», т.к. она:
► российского происхождения и хостирования;
► поддерживает более 100 языков;
► ориентирован на текстовые и мультимодальные запросы;
► хорошо адаптирован к русскоязычному контексту и культуре;
► лучше понимает и обрабатывает запросы на русском языке.

Рассмотрим алгоритм работы типового интеллектуального модуля цифровой квалиметрии «AI-экзаменатор»:

Перед размещением в векторную базу данных системы, учебный материал (конспект лекций, главы из учебников, научные статьи и т.д.) проходят этап фильтрации, как принято в типовых LLM. Впоследствии, такой материал превращается в «dataset» для дообучения нейросети. Фильтрация текста - процесс отбора качественных текстовых данных, в течение которого определяется целевой язык, убираются служебные символы, участки текста без смысловой нагрузки и другие малозначные части текста, минимизируется избыточность текста. Токенизация - разделение текста на более мелкие единицы (токены). Это могут быть отдельные слова, фразы или предложения. Практически все методы обработки естественного языка (NLP) требуют обязательной токенизации текста. Эмбеддинг - превращение набора токенов в смысловые векторы на первом слое языковой модели. Эмбеддинг преобразует токены в вектор таким образом, чтобы схожие по смыслу слова находились ближе друг к другу в векторном пространстве.

В соответствии с полученными данными и принятым количеством вопросов LLM в цикле генерирует вопросы и ожидаемые ответы на них. Тогда же, включается время тестирования. Prompt от экзаменуемого на каждый вопрос сравнивается по логике и смысловому содержанию с ожидаемым ответом. При сравнении фактического ответа с ожидаемым AI-экзаменатор определяет их степень сходства в процентах и при недостижении заданного порога генерирует и задает дополнительные «наводящие» вопросы, моделируя при этом работу живого экзаменатора. После принятия ответа на последний вопрос или после истечения отведённого времени экзамена работает детерминированная логика по определению результата экзамена в процентах или классической пятибалльной шкале.

Аппробация

Тестирование «AI-экзаменатора», как приложения с веб-интерфейсом, проведено на примере дисциплины «Менеджмент качества программного обеспечения» , изучаемой магистрантами на направлении подготовки 09.04.01 «Информатика и вычислительная техника». Проведена подготовка конспекта лекций и его загрузка в LLM. Выбор предмета из перечня доступных экзаменуемому:

После начала экзамена, студент знакомится с вопросами в диалоговом режиме. Пишет ответ. При необходимости «AI-экзаменатор» задает уточняющие вопросы:

Возможен режим экзамена без учета регистра и правописания. После собеседования Электронный экзаменатор формирует рекомендуемую оценку по заданной шкале:

Достигнутые показатели эффективности «AI-экзаменатора» приведены в таблице ниже:

В настоящее время аппробация и отладка программного комплекса продолжается.

Литература

1. Шевчик, А. П. Общество знаний: парадигма когнитивного образования / А. П. Шевчик, А. А. Мусаев // Alma Mater (Вестник высшей школы). – 2016. – № 6. – С. 6-13.
2. Луцко, А. Н. Анализ опытной эксплуатации системы «Балльно-рейтинговая аттестация» на Механическом факультете / А. Н. Луцко, Д. Н. Петров, Н. А. Марцулевич // Сборник трудов XLVII ННМК «Инновационные подходы к подготовке специалистов высшего и среднего профессионального образования в современных условиях». – Санкт-Петербург : СПбГТИ(ТУ), 2020. – С. 30-39.

Авторы

1. Петров Д.Н., к.т.н., доцент, доцент кафедры систем автоматизированного проектирования ФГБОУ ВО «Санкт-Петербургский государственный технологический институт (технический университет)».
2. Усачёв А.С., выпускник магистратуры по направлению подготовки 09.04.01 - Информатика и вычислительная техника ФГБОУ ВО «Санкт-Петербургский государственный технологический институт (технический университет)».