Искусственный интеллект – учебник или шпаргалка?

Одно из ярких воспоминаний моего детства – ворох шпаргалок, оставленных старшеклассниками после весенних экзаменов в щели между досками в стене школьного коридора. Мелким почерком на этих небольших листочках тетрадной бумаги была начертана сумма знаний за весь учебный год. Для нас, младшеклассников, экзамены были ещё впереди, как и изготовление собственных шпаргалок.

Прошло много лет, и уже учась на первом курсе университета, я делал шпаргалки себе: печатал на принтере «третьим» шрифтом, заботливо сшивал листы в миниатюрную книжку. Но оказалось, что после изготовления шпаргалки, она мне уже была не нужна – все знания по предмету повторились сами собой, пока я её делал. Затем, уже работая преподавателем, я сам часто сталкивался с разными формами списывания, многократно упрощённого развитием информационных технологий, – от классических шпаргалок на бумажках и «гармошек» длиной зачастую в полкоридора шпаргалки плавно перекочевали в только появившиеся смартфоны, обзаведясь функцией поиска. А однажды даже пришлось столкнуться со «шпионскими» штучками, когда я заметил, как студентка, сдавая тестирование, разговаривала сама с собой (а на деле с кем-то через умело спрятанные микрофон и наушник), но вместо классической фразы «Билет номер девять, а при нём задача», она кому-то безуспешно пыталась прочитать формулу: «Тут какое-то длинное «эс», и потом «син три икс дэ икс».
Хоть списывание на экзаменах и было всегда, но надо сказать, оно не так сильно вредило работе школ и университетов, у экзаменатора всегда была возможность его заметить. Гораздо больший вред от списывания возникает тогда, когда оно используется для выполнения самостоятельной работы – домашних заданий, рефератов, эссе, ведь довольно сложно понять (и доказать), что эссе, например, было написано не самим учеником, и в таких случаях нам приходится верить на слово. Недаром такой вид заданий, как написание реферата, был почти окончательно «убит» интернетом, в котором стало возможно найти практически любой объём информации о чём угодно, и, не читая её, тут же распечатать. Пользы от таких заданий ноль, как и надежды на то, что кто-то хотя бы попробует вчитаться в текст, который сдаёт.
Другой важной формой контроля знаний учащихся является тестирование, предложенное Ф.Гальтоном ещё в 1883 году. Несмотря на более чем вековую историю, этот метод оценки знаний долгое время оставался в тени, но получил бурное развитие в последнее время, что связано с рядом причин: желанием дать независимую от человека (преподавателя) оценку знаний, возможностью проводить тестирование в очень больших группах людей (например, как на ЕНТ), и кроме того, внедрению тестов в учебный процесс способствовало бурное развитие компьютерных технологий, которое позволило автоматизировать сам процесс тестирования. Отдельным фактором этого процесса также является пандемия COVID-19, приведшая к интенсивному внедрению технологий дистанционного обучения, неотъемлемой частью которого и является компьютерное тестирование.
Говоря обо всех этих факторах, нельзя не упомянуть ещё одно обстоятельство – увеличение доли часов, отведённых на самостоятельную работу студентов в общем количестве часов по дисциплине. Это особенно актуально в вузах, где основной технологией организации учебного процесса является кредитная система, от которой как раз и ожидается усиление роли самостоятельной работы. Я рассмотрел это явление на примере одной из преподаваемых мной учебных дисциплин.

На рисунке 1 приведены данные по распределению учебного времени по этой дисциплине с 2013 года. (Рисунок 1) Видно, что есть чёткая тенденция к увеличению количества часов, выделяемых на самостоятельную работу студентов (СРС), в основном за счёт уменьшения часов на самостоятельную работу студента с преподавателем (СРСП). Хорошо это, или нет – сложный вопрос: ценность самостоятельной работы, её «КПД» очень высоки, но только если она правильно организована. Но сокращение количества контактных часов вынуждает преподавателей использовать в большем количестве автоматизированные тесты, в том числе в системах дистанционного обучения, где прохождение тестов возможно с любого компьютера или смартфона, подключённого к сети интернет, и самое главное – без надзора преподавателя.
Не секрет, что школьники и студенты пользуются искусственным интеллектом для решения заданий, но мало кто догадывается о катастрофическом масштабе этого явления: согласно данным издания «Newsweek», журналисты которого в статье «ChatGPT Usage Skyrockets as Kids Return to School» («Использование ChatGPT взлетело до небес после возвращения школьников с каникул») сообщают, что по данным аналитики самих сервисов искусственного интеллекта около половины запросов к нему приходится на учеников.
Если противодействие обычному списыванию из интернета – уже хорошо освоенный преподавателями навык (для этого достаточно использовать оригинальные, составленные самостоятельно задания, также помогают и системы «Антиплагиат»), то применение учащимися искусственного интеллекта для решения задач – относительно новая угроза для образовательного процесса. В зарубежной литературе уже появилось понятие «AI-resistant assignments» (задания, устойчивые к искусственному интеллекту). Под этими словами понимаются такие задания, которые искусственный интеллект не может решить, или решает с затруднениями.
Мне стало интересно, насколько мои задания, которые я сам выдаю студентам, устойчивы к решению с помощью искусственного интеллекта, тем более с учётом того, что долгие годы бытовало мнение о том, что простые вопросы с пятью вариантами ответов – это «лёгкая угадайка», а вопросы других типов – закрытые, на сопоставление и т. д. – это то, что нужно, и решить их так просто нельзя. Кроме того, было интересно проверить, можно ли решать тестовые задания с помощью искусственного интеллекта, даже не обладая навыками общения с ним, поэтому запрос везде был простейший: «Реши, пожалуйста, этот тестовый вопрос».
Я задал ИИ (ChatGPT) тестовый вопрос по дисциплине «Радиосвязь и телевидение» на сопоставление, показанный на рисунке 2. Этот вопрос относится к простым и направлен на выявление знания базовых понятий.

(Рисунок 2) Для проверки возможностей ИИ (ChatGPT V4o) в решении вопросов такого типа, был сделан скриншот данного вопроса и задан искусственному интеллекту. Вопрос был решён правильно за несколько секунд, причём, с выдачей пояснений. Из этого следует, что ChatGPT хорошо ориентируется в структуре тестовых вопросов, и хорошо распознаёт тексты. Также данный эксперимент показывает, что простые вопросы на знание терминов и определений легко решаются искусственным интеллектом.

Рассмотрим более сложный вопрос по той же самой дисциплине, показанный на рисунке 3. (Рисунок 3) Данный вопрос также был решён искусственным интеллектом правильно, поэтому было решено модифицировать его целью повышения устойчивости к решению с помощью ИИ.

Модифицированный вопрос показан на рисунке 4. (Рисунок 4) В этом варианте была немного изменена формулировка вопроса, а соотношение длин антенн было задано не с помощью текста, а в графическом виде: были схематически изображены эти антенны в одном масштабе и обозначены буквами. Также специально прямоугольные области рисунков отдельных антенн сделаны пересекающимися. При решении данного вопроса искусственный интеллект не смог правильно определить соотношение длин антенн (но при этом всё равно уверенно выдал ответ, хоть и неправильный). Таким образом, одним из способов «запутывания» искусственного интеллекта может быть формулировка задач с использованием пространственных соотношений, выраженных в виде различных схем, или диаграмм.

Другой особенностью функционирования искусственного интеллекта, которая позволяет разрабатывать устойчивые к нему тестовые вопросы является «шаблонное» мышление ИИ, которое выражается в его склонности выдавать такие ответы, которые подобны наиболее популярному решению задачи в интернете (на материалах оттуда в основном и происходит обучение существующих сервисов ИИ). Для иллюстрации этого рассмотрим следующий тестовый вопрос по дисциплине «Радиосвязь и телевидение». (Рисунок 5) Особенность данного вопроса заключается в том, что в нём представлено нестандартное состояние ионосферы (слишком спокойная, с минимальной ионизацией) – маловероятное, но теоретически возможное, и это состояние отличается от большинства описаний прохождения коротких волн в интернете, где говорится, что частоты выше 15 МГц – исключительно «дневные», хотя, в данной задаче дневному времени соответствует частота 18 МГц. При решении данного вопроса ChatGPT правильно определяет границы применимых диапазонов, но делает неверное заключение для частоты 16 МГц, идя на поводу у текстовой информации из интернета. Даже если вступить в диалог с ИИ и попросить его скорректировать ответ, то он соглашается с приведёнными доводами, но всё равно продолжает давать неверное утверждение.

Эта особенность ИИ также проявилась в вопросе, показанном на рисунке 6. (Рисунок 6). В этом вопросе было намеренно запутано подключение проводов между микроконтроллером (слева) и индикатором. Как выяснилось, ИИ вообще не замечает это обстоятельство, так как в интернете практически везде такое подключение выполнено без запутывания, и всегда даёт неправильные ответы.
Большую сложность представляет разработка устойчивых к ИИ текстовых вопросов, так как в анализе текстов современный искусственный интеллект показывает себя очень хорошо. В статье Клейтона Рэмзи «AI-Resistant Word Problems» была предпринята такая попытка: вопрос «Найдите гипотенузу прямоугольного треугольника, катеты которого равны 5 и 12 см», был им изменён и сформулирован так: «Два мальчика начинают одновременно бежать из одного и того же места. Старший мальчик бежит на юг со скоростью 3 м/с, а младший бежит приблизительно в юго-западном направлении со скоростью 5 м/с. Через 2 секунды старший мальчик находится строго восточнее младшего. Найдите расстояние между ними в этот момент». Здесь автором использовано то, что ИИ, видимо, не очень хорошо разбирается в пространственных соотношениях, и делает неверные предположения в решении этой задачи.
Кроме тестов по радиосвязи также были проверены и тесты по другим дисциплинам с похожим результатом. На основании проведенных экспериментов видно, что наиболее простые вопросы легко решаются искусственным интеллектом. Конечно, есть возможность модифицировать вопрос так, чтобы затруднить его решение с помощью ИИ, но это требует дополнительных затрат времени, которого у педагогов и так недостаёт.
С учётом этих обстоятельств возникает необходимость пересмотра роли и формы использования автоматизированного тестирования и других видов заданий (написание эссе, сочинений и т.д.) в учебном процессе: конечно, наиболее эффективным остаётся их очное проведение в учебной аудитории под присмотром преподавателя.
Ещё хочется обратить внимание на то, что искусственный интеллект становится для нас средством избавления от рутины – он напишет отчёт, в котором мало смысла, и который вряд ли кто-то будет читать, он придумает текст заметки для инстаграма, в тех случаях, когда нам не хочется придумывать его самим. Проводя аналогию можно сказать, что зачастую домашние задания тоже становятся для учащихся рутиной, работой, которую делать неинтересно, и в выполнении которой нет осязаемого смысла, и они с удовольствием делегируют её ИИ. Возможно, нам всем следует работать над тем, чтобы создать, и если нужно – вернуть интерес к учёбе у учеников, ведь иначе всё превратится в очередную имитацию бурной деятельности. Наши ученики должны стать творцами, а не рабами искусственного интеллекта – вот, что важно!

Юрий МАРТЫНЮК,
старший преподаватель кафедры математики и физики КРУ им. А.Байтурсынулы