Проверено: детектор ИИ от Сбера ошибается в 30 % случаев

Люди не успевают за нейросетями. Ни одного детектора. способного со 100 %-ной вероятностью определить происхождение текста, не существует. Но некоторые специалисты делают вид, что по-прежнему способны вычислить ИИ.

Например, в списке второсортных контентных платформ, заявляющих о пренебрежении нейротекстами и возможности распознать подделку, есть IRecommend, а также 9111. Однако и авторитетные сайты тоже витают в облаках или хотят бежать впереди паровоза. Но не могут.

Так, Habr проверяет тексты с помощью так называемого AI-детектора текстов GigaChek от Сбера. И если система утверждает, что, дословно, «Текст, скорее всего, написан генеративной моделью ИИ», то Habr не допустит публикацию на сайт, даже если она полезна и написана хорошо.

Отступление. Что такое «...скорее всего...»? Это попытка вильнуть хвостом, оставить место для съезда в сторону в случае чего. Но нельзя быть полупокером и давать неясные ответы, а сейчас и здесь это запросто. Такое время.

О характеристиках. GigaChek определяет авторство с точностью 94,7 %. Откуда показатель, характеризующий продукт Сбера? Конечно же, от Сбера: утверждение о точности GigaCheck взято из официальных анонсов Сбера и SberDevices на конференции GigaConf 2024. Однако независимых исследований точности GigaCheck на сегодня нет.

Проверил 10 текстов из блога своего сайта. Написаны по-разному: полностью мной или с преобладанием ИИ на 90 % и более по моим промптам. В эти промпты входит стилистический отпечаток автора, и там есть указание: «Если автор использует помощь искусственного интеллекта, избегает фраз, по которым понятно, что текст писала нейросеть». Итог: в 3 случаях из 10 GigaCheck ошибся. 30 % брака.

Да, это один пример, но ведь по утверждению детектора, шансы на ошибку только 1 к 20. Справедливости ради: этот пост написал я, и детектор подтвердил, что автор – человек. Видно на скрине.

Вывод: даже авторитетные площадки, если хотят воспринимать текстовые нейросети в штыки, будут делать вид, что контролируют процесс, хотя на это не способны. Зачем им это нужно? Это дремучесть и одновременно попытка выпендриться. Логичнее оценивать текст по качеству, а не по мифическому происхождению.