Дослідження якості інструментів для ідентифікування ШІ-контенту

Як відрізнити «штучний» текст від «живого»? Видача Google пропонує багато сервісів, які спеціалізуються у цьому. Та досі питання про якість таких платформ висить у повітрі неначе Дамоклів меч. 

Адже відчувається постійний ризик отримання невірних результатів. Та в сьогоднішній статті я постараюсь пролити світло на цю тему і внести ясність щодо того, якому інструменту можна довіряти, а якого краще остерігатися.

Критерії аналізу детекторів згенерованого контенту

Якщо казати відверто, то поки що не існує того єдиного і загальновизнаного інструменту, який з абсолютною правильністю ідентифікує згенерований контент.

І тут постає дилема сторін. Копірайтери, що часто використовують ШІ для створення текстів, будуть відчайдушно нахвалювати інструменти, які лояльні до «штучного» контенту. Адже так вони збережуть свою репутацію. А дійсно якісні продукти вони будуть критикувати. Ну звісно, кому ж сподобається, коли їх хитрі підходи розкушують немов спілий фрукт? :)

Замовники, зі свого боку, жадають правдивих результатів. Майже як увесь світ під час виборів президента в росії. Але це вже інша історія...

Задля максимальної об'єктивності даного дослідження, я обрав для аналізу три статті:

1.Повністю згенерований контент на тему «Що таке штучний інтелект».

2.Повністю написана вручну стаття. В якості такого матеріалу я взяв власну роботу, де я розповідаю про контент, що створений штучним інтелектом.

3.Такий собі містер Мікс. Тобто 50% ШІ і 50% «живого» тексту. Це комбінація двох попередніх матеріалів у співвідношенні один до одного.

Будь ласка, зверніть увагу, що дані результатів і сам рейтинг інструментів є актуальними станом на публікацію цієї статті. Індустрія ШІ невпинно розвивається, тому цілком можливо, що в майбутньому ситуація зміниться.

Тож давайте розпочнемо наше невеличке, але дуже цікаве дослідження :)

Copyleaks

Сайт:
https://copyleaks.com/

Ціна:
Найдешевша щомісячна підписка за $10 дає можливість аналізувати 25 000 слів, а найдорожча дозволяє за $456 аналізувати 2 500 000 слів.

Мови, що підтримуються:
30 найпопулярніших мов світу, включаючи українську та російську.

Результати скану повністю згенерованої статті:

Результати скану моєї статті:

Результати скану змішаного тексту:

Undetected AI 

Сайт:
https://undetectable.ai/

Ціна:
Платні ліміти коштують від $15 за аналіз 15 000 слів і до $209 за аналіз 380 000 слів

Мови, що підтримуються:
30+

Результати скану повністю згенерованої статті:

Результати скану моєї статті:

Результати скану змішаного тексту:

GPTZero

Сайт:
https://app.gptzero.me/

Ціна:
Щомісячно надається ліміт об'ємом 10 000 слів для безкоштовного аналізу, а платні ліміти коштуватимуть щомісячно $15 за 150 000 слів, $24 за 300 000 слів та $35 за 500 000 слів.

Мови, що підтримуються:
Англійська, іспанська та французька.

Результати скану повністю згенерованої статті:

Результати скану моєї статті:

Результати скану змішаного тексту:

QuillBot

Сайт:
https://quillbot.com/ai-content-detector

Ціна:
Повністю безкоштовно.

Мови, що підтримуються:
Англійська, іспанська, німецька та французька.

Результати скану повністю згенерованої статті:

Результати скану моєї статті:

Результати скану змішаного тексту:

Serpstat's AI Content Checker

Сайт:
https://serpstat.com

Ціна:
Щомісячна підписка за $119 дає можливість аналізувати 250 000 символів, а підписка за $479 дозволяє аналізувати 2 500 000 символів.

Мови, що підтримуються:
Офіційно підтримується лише англійська, але теоретично може працювати і іншими мовами.

Результати скану повністю згенерованої статті:

Результати скану моєї статті:

Результати скану змішаного тексту:

Порівняння результатів тесту детекторів ШІ-контенту

Отож, загальна картина виглядає наступним чином:

1 Місце

Беззаперечним лідером виявився QuillBot. Він повністю безкоштовний та найкраще ідентифікує ШІ-контент. 

Єдиний невеличкий нюанс – він не є флагманом у категорії «поліглот». Але інструмент підтримує чотири мови, які є одними з найпопулярніших сьогодні. Тож цього буде цілком достатньо для більшості користувачів.

2 Місце

Срібло дісталось GPTZero. Цей інструмент досить впевнено впорався з ідентифікацією ШІ-контенту.

А його платний статус ніяк не перешкодить використовувати щомісячний ліміт на безкоштовне сканування 10 000 слів. Тобто немає хитрощів аля «безкоштовні ліміти надаються лише після оплати платних лімітів». Все максимально прозоро.

3 Місце

У середині сьогоднішнього рейтингу опинився продукт від Serpstat. Це вигідна пропозиція для спеціалістів, які використовують у своїй роботі не лише детектори ШІ-контенту, а й різноманітні SEO-інструменти. Адже, таким чином, вам не доведеться переплачувати за сторонні сервіси.

Сам детектор ШІ-контенту стрімко розвивається. Він вже зараз показує результати, які, як мінімум, не гірші від більш популярних в своїй області програм, які зайняли четверте та п'яте місця.

Але його перевага у вигляді обширного додаткового функціоналу явно вказує на те, що саме він заслуговує зайняти третє місце сьогодні.

4 Місце

Задля повноти дослідження я вирішив взяти для аналізу найвідоміший сайт (якщо судити по видачі Google) серед тих, які виступають певними посередниками між детекторами ШІ-контенту та користувачами.

Тобто Undetected AI не ідентифікує самостійно згенерований текст. Він отримує результати сканування у різних продуктах і показує їх у вигляді короткого підсумку.

Це досить спірний підхід. Адже хороших релевантних інструментів зараз не так багато. Undetected AI показує результат з восьми платформ, серед яких близько половини видають невірні дані.

По факту, повністю згенеровану статтю правильно ідентифікували п'ять із восьми інструментів. А змішаний текст – лише три.

5 Місце

І останній інструмент потрапив у наш список лише через його популярність. Я не можу назвати його надійним, оскільки він надто радикальний (у прямому сенсі цього слова).

Він не видав жодного проміжного результату. Лише крайності – або 0% ШІ-контенту, або 100%. Я рахую це, м'яко кажучи, не найкращим показником ефективності в плані ідентифікації згенерованого контенту.

А якщо взяти до уваги далеко не найнижчу ціну та відсутність цікавих додаткових функцій* за ці гроші, то стає зрозуміло, чому саме Copyleaks виявився в кінці рейтингу.

* – у Copyleaks є ще функція ідентифікування плагіату, але вона оплачується окремо та коштує ще більше, ніж детектор ШІ-контенту

Висновки

Сьогодні я в черговий раз впевнився у тому, що гучне ім'я продукту далеко не завжди гарантує його якість. І детектори ШІ-контенту – явно не виключення з цього правила.

Тому якщо ви часто використовуєте в роботі сервіси для ідентифікації згенерованого тексту, тоді раджу вам в першу чергу звертати увагу на реальну їх ефективність, а не популярність. Адже від цього залежить продуктивність вашої праці.

Тож бажаю вам гарних результатів у вашій сфері та щедрої винагороди за старання – як емоційної, так і фінансової. До зустрічі у нових матеріалах :)