Искусственный интеллект официально прошел тест Тьюринга

В новом исследовании (еще не прошедшем рецензию) исследователи протестировали трехстороннюю версию теста Тьюринга, где участники общались как с человеком, так и с ИИ, а затем угадывали, кто из них кто.

Когда GPT-4.5 OpenAI давала определенную персону, ее принимали за человека в 73% случаев — намного выше 50% случайной вероятности. Это говорит о том, что тест Тьюринга был убедительно пройден.

В исследовании также оценивались Llama 3.1-405B от Meta**, GPT-4o от OpenAI и ELIZA — ранний чат-бот, созданный 80 лет назад.

«Люди не смогли отличить людей от GPT-4.5 и LLaMa (с подсказкой персоны) лучше, чем случайно», — написал ведущий исследователь Кэмерон Джонс из Калифорнийского университета в Сан-Диего.

«И 4.5 даже был оценен как человек значительно чаще, чем настоящие люди!»

Тест Тьюринга, предложенный Аланом Тьюрингом в 1950 году, оценивает, может ли машина думать как человек, обманывая людей в текстовых разговорах. В этом исследовании около 300 участников по очереди выступали в роли допрашивающих или «свидетелей», причем одним из свидетелей был ИИ.

Ключевым фактором было то, как был проинструктирован ИИ. С подсказкой «без персоны» — просто с просьбой вести себя как человек — GPT-4.5 преуспел только в 36% случаев. Но с подробной персоной (например, молодой, разбирающийся в Интернете человек) его успех подскочил до 73%. Напротив, GPT-4o (без подсказок персоны) обманывал людей всего в 21% случаев — даже ELIZA справился немного лучше — 23%.

Тест Тьюринга, хотя и впечатляющий, не является идеальным доказательством человеческого интеллекта.

«Это не было задумано как буквальный тест… скорее как мысленный эксперимент», — сказал инженер Google Франсуа Шолле в 2023 году.

Чат-боты на основе искусственного интеллекта отлично справляются с имитацией человеческого разговора благодаря обширному обучению на человеческом тексте. Но Джонс отмечает, что более важный вопрос заключается не только в интеллекте, но и в том, как эти модели могут заменить людей в коротких взаимодействиях, влияя на рабочие места, безопасность и общество.

«Что еще более важно, я думаю, что результаты предоставляют больше доказательств того, что LLM могут заменить людей в коротких взаимодействиях, и никто не сможет этого заметить», — написал он в Twitter.

Тест Тьюринга также отражает то, как люди воспринимают ИИ.

По мере того, как люди все больше знакомятся с чат-ботами, они могут научиться лучше их замечать, а это значит, что результаты могут со временем меняться.

источник