Тест Тьюринга — это способ оценить способность машины имитировать человеческий разговор.

Он был предложен Аланом Тьюрингом в 1950 году. В нем судья-человек разговаривает с чат-ботом или человеком, не зная, кто есть кто. Если судья не может отличить чат-бота от человека, чат-бот считается прошедшим тест.
В новом эксперименте участвовало 652 человека, которые завершили 1810 разговорных сеансов с одним из четырёх собеседников: GPT-4, GPT-3.5, ELIZA или человеком. После этого нужно было угадать, кто из собеседников был человеком, а кто — моделью ИИ.
Результаты показали, что участники правильно идентифицировали человека только в 63% случаев.
Кроме того, оказалось, что ELIZA, программа 1960-х годов, имитирующая психотерапевта, была более убедительной, чем GPT-3.5, предшественник GPT-4. ELIZA получила 27% успеха, а GPT-3.5 — только 14%. GPT-4 достигла 41% успеха, но это всё равно меньше, чем у людей.
В итоге даже GPT-4 не прошёл тест Тьюринга, так как не смог убедить участников в том, что он человек.