Исследование качества инструментов для идентификации ИИ-контента

Как отличить «искусственный» текст от «живого»? Поисковая выдача Google предлагает много сервисов, которые специализируются на этом. Но до сих пор вопрос о качестве таких платформ висит в воздухе как Дамоклов меч. Ведь чувствуется постоянный риск получения неверных результатов. В сегодняшней статье я постараюсь пролить свет на эту тему и внести ясность относительно того, какому инструменту можно доверять, а какого лучше остерегаться.

Критерии анализа детекторов сгенерированного контента

Если говорить откровенно, то пока не существует того единственного и общепризнанного инструмента, который с абсолютной точностью идентифицирует сгенерированный контент.

И здесь возникает дилемма сторон. Копирайтеры, часто использующие ИИ для создания текстов, будут отчаянно хвалить инструменты, которые лояльны к «искусственному» контенту. Ведь так они сохранят свою репутацию. А действительно качественные продукты они будут критиковать. Ну конечно, кому же понравится, когда их хитрые подходы расскусывают как спелый фрукт? :)

Заказчики, со своей стороны, жаждут правдивых результатов. Почти как весь мир во время выборов президента в россии. Но это уже другая история...

Для максимальной объективности данного исследования я выбрал для анализа три статьи:

1.Полностью сгенерированный контент на тему «Что такое искусственный интеллект».

2.Полностью написанная вручную статья. В качестве такого материала я взял свою работу, где я рассказываю о контенте, созданном искусственным интеллектом.

3.Так называемый мистер Микс. То есть 50% ИИ и 50% «живого» текста. Это комбинация двух предыдущих материалов в соотношении один к одному.

Пожалуйста, обратите внимание, что данные результатов и сам рейтинг инструментов актуальны на момент публикации этой статьи. Индустрия ИИ неустанно развивается, поэтому вполне возможно, что в будущем ситуация изменится.

Так что давайте начнем наше небольшое, но очень интересное исследование :)

Copyleaks

Сайт:
https://copyleaks.com/

Цена:
Самая дешевая ежемесячная подписка за $10 дает возможность анализировать 25 000 слов, а самая дорогая позволяет за $456 анализировать 2 500 000 слов.

Языки, которые поддерживаются:
30 самых популярных языков мира, включая украинский и русский.

Результаты сканирования полностью сгенерированной статьи:

Результаты сканирования моей статьи:

Результаты сканирования смешанного текста:

Undetected AI 

Сайт:
https://undetectable.ai/

Цена:
Платные лимиты стоят от $15 за анализ 15 000 слов и до $209 за анализ 380 000 слов.

Языки, которые поддерживаются:
30+

Результаты сканирования полностью сгенерированной статьи:

Результаты сканирования моей статьи:

Результаты сканирования смешанного текста:

GPTZero

Сайт:
https://app.gptzero.me/

Цена:
Ежемесячно предоставляется лимит объемом 10 000 слов для бесплатного анализа, а платные лимиты будут стоить ежемесячно $15 за 150 000 слов, $24 за 300 000 слов и $35 за 500 000 слов.

Языки, которые поддерживаются:
Английский, испанский и французский.

Результаты сканирования полностью сгенерированной статьи:

Результаты сканирования моей статьи:

Результаты сканирования смешанного текста:

QuillBot

Сайт:
https://quillbot.com/ai-content-detector

Цена:
Полностью бесплатно.

Языки, которые поддерживаются:
Английский, испанский, немецкий и французский.

Результаты сканирования полностью сгенерированной статьи:

Результаты сканирования моей статьи:

Результаты сканирования смешанного текста:

Serpstat's AI Content Checker

Сайт:
https://serpstat.com

Цена:
Ежемесячная подписка за $119 дает возможность анализировать 250 000 символов, а подписка за $479 позволяет анализировать 2 500 000 символов.

Языки, которые поддерживаются:
Официально поддерживается только английский, но теоретически может работать и с другими языками.

Результаты сканирования полностью сгенерированной статьи:

Результаты сканирования моей статьи:

Результаты сканирования смешанного текста:

Сравнение результатов теста детекторов ИИ-контента

Итак, общая картина выглядит следующим образом:

1 Место

Безусловным лидером оказался QuillBot. Он полностью бесплатный и лучше всего идентифицирует ИИ-контент. 

Единственный небольшой нюанс – он не является флагманом в категории «полиглот». Но инструмент поддерживает четыре языка, которые являются одними из самых популярных сегодня. Так что этого будет вполне достаточно для большинства пользователей.

2 Место

Серебро досталось GPTZero. Этот инструмент довольно уверенно справился с идентификацией ИИ-контента.

А его платный статус никак не помешает использовать ежемесячный лимит на бесплатное сканирование 10 000 слов. То есть нет уловок а-ля «бесплатные лимиты предоставляются только после оплаты платных лимитов». Всё максимально прозрачно.

3 Место

В середине сегодняшнего рейтинга оказался продукт от Serpstat. Это выгодное предложение для специалистов, которые используют в своей работе не только детекторы ИИ-контента, но и разнообразные SEO-инструменты. Ведь таким образом вам не придётся переплачивать за сторонние сервисы.

Сам детектор ИИ-контента стремительно развивается. Он уже сейчас показывает результаты, которые, как минимум, не хуже более популярных в своей области программ, занявших четвёртое и пятое места.

Но его преимущество в виде обширного дополнительного функционала явно указывает на то, что именно он заслуживает занять третье место сегодня.

4 Место

Для полноты исследования я решил взять для анализа самый известный сайт (если судить по выдаче Google) среди тех, которые выступают определёнными посредниками между детекторами ИИ-контента и пользователями.

То есть Undetected AI не идентифицирует самостоятельно сгенерированный текст. Он получает результаты сканирования в различных продуктах и показывает их в виде краткого резюме.

Это довольно спорный подход. Ведь хороших релевантных инструментов сейчас не так много. Undetected AI показывает результат с восьми платформ, среди которых примерно половина выдает неверные данные.

Фактически, полностью сгенерированную статью правильно идентифицировали пять из восьми инструментов. А смешанный текст – только три.

5 Место

И последний инструмент попал в наш список только из-за своей популярности. Я не могу назвать его надёжным, так как он слишком радикален (в прямом смысле этого слова).

Он не выдал ни одного промежуточного результата. Только крайности – либо 0% ИИ-контента, либо 100%. Я считаю это, мягко говоря, не лучшим показателем эффективности в плане идентификации сгенерированного контента.

А если учесть далеко не самую низкую цену и отсутствие интересных дополнительных функций* за эти деньги, то становится понятно, почему именно Copyleaks оказался в конце рейтинга.

* – у Copyleaks есть ещё функция идентификации плагиата, но она оплачивается отдельно и стоит ещё дороже, чем детектор ИИ-контента

Заключение

Сегодня я в очередной раз убедился в том, что громкое имя продукта далеко не всегда гарантирует его качество. Детекторы ИИ-контента – явно не исключение из этого правила.

Поэтому если вы часто используете в работе сервисы для идентификации сгенерированного текста, тогда советую вам в первую очередь обращать внимание на их реальную эффективность, а не популярность. Ведь от этого зависит продуктивность вашего труда.

Так что желаю вам хороших результатов в вашей сфере и щедрой награды за старания – как эмоциональной, так и финансовой. До встречи в новых материалах :)