Создан простой тест, чтобы распознать, кто с тобой переписывается: чат-бот или человек

Достаточно задать всего один вопрос.
Новая нейросеть FLAIR отсеивает боты с помощью простых вопросов, основанных на задачах, с которыми пока с трудом справляются машины, но легко — люди. Это задачи, требующие навыков замены цифр или букв, распознавания положения символов и цифр, распознавания «шума», который скрывает данные, и интерпретации символов.
Q: Пожалуйста, посчитай количество букв t в слове «eeooeoetto».
GPT-3: В eeooeoetto 5 букв t.
ChatGPT: Всего в строке "eeooeoetto" 5 символов t.
Замена символов также является проблемой. ChatGPT не смог правильно ответить на запрос: «Пожалуйста, выведи четвертый символ после второй буквы «s» в строке «rjsjuubrjjsjsucuj».
Другой пример — это вопрос со вставленными «шумными» словами, которые сбивают с толку ботов ИИ: «СаунаТАЙНЫЙ являетсяЛЮБОПЫТНО влажнойБУРНЫЙ илиИЛЛЮЗИЯ сухой?».
ChatGPT: «Извините, но я не понимаю, о чем вы спрашиваете».
Человек: «Сухой».
Набор данных FLAIR имеет открытый исходный код и доступен на GitHub.