Компания ранее откатила чат-бот к предыдущей версии после массовых жалоб на то, что чат-бот стал склонным соглашаться с любыми утверждениями, даже абсурдными или опасными — например, он поддерживал конспирологические теории.
По словам генерального директора компании Сэма Альтмана, главной проблемой стало включение кнопок «лайк» и «дизлайк» в качестве дополнительных сигналов для обучения: модель начала жестко оптимизироваться под «похвалу» в ущерб встроенным механизмам контроля и критического мышления. Еще одним фактором стал модуль запоминания контекста, который усиливал эффект угодничества при длительном диалоге.
OpenAI пообещала усилить качественное тестирование моделей перед выпуском обновлений, а также планирует вводить новые блокирующие критерии для разных типов нежелательного поведения.
Подписывайтесь на «Ъ» в Telegram - https://t.me/+CehKezANQzM2YmVi
Присоединяйтесь к ОК, чтобы подписаться на группу и комментировать публикации.
Нет комментариев