Пока университеты по всему миру пытаются понять, как жить в эпоху генеративного ИИ, преподаватель истории из Alcorn State University придумал довольно необычный способ проверить, кто действительно писал работу самостоятельно. Эксперимент оказался настолько показательным, что быстро разлетелся по соцсетям и вызвал споры среди преподавателей.

На промежуточном экзамене студентам нужно было сравнить промышленную революцию с современной цифровой эпохой. На первый взгляд это было обычное эссе, но в тексте задания была спрятана небольшая ловушка. В одном месте белым цветом на белом фоне было написано слово Madagascar. Человек, который просто читал задание, никогда бы его не увидел. Зато если полностью скопировать текст в ChatGPT или другую языковую модель, скрытое слово попадало в промпт.

Из-за этого модель пыталась каким-то образом использовать его в ответе. Иногда она просто вставляла слово «Madagascar» в текст, а иногда генерировала совершенно абсурдные предложения вроде: “Madagascar floats sideways through the afternoon” или “Madagascar purple bicycle whispers to the ceiling”. Подобные фразы никак не были связаны ни с историей, ни с темой экзамена.

Когда преподаватель начал проверять работы, оказалось, что одинаковую ошибку допустили 32 из 35 студентов. Все они сдали тексты, в которых присутствовали странные упоминания Мадагаскара или вовсе бессмысленные предложения, явно появившиеся в результате генерации ИИ. По словам преподавателя, самое удивительное было даже не то, что студенты использовали искусственный интеллект, а то, что они, судя по всему, вообще не прочитали собственные работы перед отправкой.

После проверки он опубликовал объяснение, показал скриншот со скрытым словом и предложил всем, кто считает оценку несправедливой, подать апелляцию. В итоге это сделали только два человека. Одной студентке баллы действительно вернули, поскольку она объяснила, что использовала темную тему оформления, из-за чего скрытый текст оказался виден на ее экране.

История быстро стала вирусной. Одни пользователи назвали эксперимент очень изящным способом проверить академическую честность, другие раскритиковали преподавателя, посчитав подобный подход нечестным. Нашлись и те, кто отметил, что подобная ловушка, вероятно, скоро перестанет работать: современные языковые модели уже научились распознавать многие виды prompt injection и могут предупреждать пользователя о наличии скрытых инструкций в документе или просто игнорировать их.

Впрочем, вся эта история интересна не столько самой ловушкой, сколько тем, что она показывает. Еще несколько лет назад студент мог списать текст из Википедии, но хотя бы бегло его просматривал перед сдачей. Теперь же многие воспринимают ответ нейросети как готовый результат: нажимают кнопку, копируют текст и отправляют его преподавателю без малейшей проверки. Именно поэтому в экзаменационной работе могут спокойно оказаться предложения про Мадагаскар, который «плывет боком сквозь день», или про фиолетовый велосипед, шепчущий потолку.

Получается, что главная проблема сегодня — уже не использование ИИ как таковое. Гораздо серьезнее привычка полностью доверять его ответам и перестать критически относиться даже к собственным работам.

********************************************

Я часто пишу про ИИ и стартапы, заходите, здесь весело.