Поделиться
Официально: Детекторы текстов, созданных ИИ, не работали и не будут
В июле разработчик ChatGPT без шума и пыли отключил свой собственный инструмент по идентификации текстов, сгенерированных чат-ботами. Сейчас компания опубликовала рекомендации по использованию ChatGPT в образовательной сфере, где прямо сказано: детекторы ИИ-контента неработоспособны в принципе.
Нет различий, нет
Компания OpenAI официально признала, что детекторы текстового ИИ-контента не работают. Эти программы не в силах отличить текст, написанный человеком, от продукта генеративного ИИ, такого как ChatGPT.
OpenAI в прошлом выпустила такой экспериментальный инструмент - AI Classifier, а затем, в июле, тихо отключила его в связи с предельно низкой точностью. Он корректно определял, кто именно создал текст - человек или машина, - лишь в 26% случаев. Такие показатели делают его абсолютно бесполезным, чтобы не сказать хуже.
И вот первое официальное признание этого факта: на прошлой неделе OpenAI опубликовала в своём блоге ряд рекомендаций для работников сферы образования. В публикации говорилось о том, как некоторые учителя используют ChatGPT в качестве вспомогательного инструмента в работе, и с чего следует начинать его использование в таком качестве.
Кроме того был опубликован FAQ (список часто задаваемых вопросов и ответов к ним) специально для учителей. В разделе «Как преподавателям реагировать на то, что студенты выдают сгенерированный ИИ контент за собственные работы?»
В нём содержится вопрос, работают ли детекторы ИИ. «Если коротко, нет, - говорится в публикации. - Хотя некоторые вендоры (включая OpenAI) в прошлом выпускали инструменты для выявления сгенерированного ИИ контента, ни один из них не доказал способности корректно отличать текст, созданный человеком, от выдачи ИИ.
Кроме того, говорится в FAQ, ChatGPT не обладает «знанием», какой контент считать сгенерированным. Даже на прямые вопросы к нему, написан ли тот или иной текст самим ChatGPT или мог ли он в принципе быть создан генеративным ИИ, чат-бот выдаёт совершенно случайные ответы, не имеющие под собой никаких оснований.
Шекспир? А у него какая модель?
OpenAI честно пытались натренировать детектор. Но сколько они ни бились, результаты были очень скверными: например, сочинения Шекспира или Декларацию Независимости США детектор упрямо записывал в творения ИИ.
В то же время в учебных заведениях, где ученикам запрещено сдавать работы, написанные при помощи ИИ, все эти нерабочие детекторы - GPTZero, ZeroGPT, AI Content Detector и другие - нередко использовались (и используются) для проверки сочинений учащихся. Ложные срабатывания нередко становятся поводом для санкций в отношении тех, кто писал работы самостоятельно.
В то же время поверхностно отредактированные произведения ИИ вполне легко выдать за человеческие работы.
«Проблема в том, что у сгенерированного ИИ текста в принципе нет никаких формальных или технических признаков, отличающих его от текста, написанного человеком, - говорит Алексей Водясов, технический директор компании SEQ. - Машины обучаются производить текстовый контент на основе текстов, написанных людьми, и уже поэтому ничего «нечеловеческого» крупные лингвистические модели произвести не в состоянии: никаких гарантированных признаков того, что текст писал генеративный ИИ, нет и на данный момент быть не может. Изображения можно пометить водяными знаками. Для текста это выглядит невозможным».
Эксперт добавил, однако, что речь идёт о грамотных текстах.
Нетехнические признаки
Преподаватели, впрочем, нередко способны определить, кто из их учеников работал добросовестно, а кто схалтурил и воспользовался ИИ. Например, если преподавателю хорошо известны обычные манера и стиль ученика, то резкие отклонения от них - это явный признак несамостоятельной работы.
В самых вопиющих случаях ленивые студенты могут оставлять фразы, типичные для ChatGPT, например, такие как as an AI language model («как языковая модель искусственного интеллекта»).
Это, правда, касается не только студентов. Был как минимум один случай (описанный в журнале Nature), когда читатели обнаружили в опубликованной уже научной работе фразу Regenerate Response («Сгенерировать ответ снова»). В контексте самой этой работы было очевидно, что это - артефакт от текста, сгенерированного ИИ.
Как пишет издание Ars Technica, на сегодняшний день, при сегодняшнем состоянии технологий, безопаснее всего - полностью избегать инструментов детектирования ИИ-контента. Они не работают. И нет поводов ожидать, что это в ближайшей перспективе изменится.
Короткая ссылка
