OpenAI не удаётся доделать GPT-5 Orion — обучение обходится дорого, а данных не хватает

OpenAI отстаёт от графика разработки флагманской модели искусственного интеллекта последней версии — она получит название GPT-5, а пока проходит под кодовым именем Orion. Компания занимается этим уже 18 месяцев, пытаясь выйти на желаемый результат, но терпит неудачи — во всём мире не хватает данных, чтобы сделать модель достаточно умной, пишет Wall Street Journal.
Источник изображения: Mariia Shalabaieva / unsplash.com OpenAI провела как минимум два больших учебных запуска, каждый из которых предполагает несколько месяцев обработки данных с целью доделать Orion. Всякий раз возникали новые проблемы, и система не давала результатов, на которые надеялись исследователи. В теперешнем виде Orion работает лучше существующих систем OpenAI, но, по версии разработчиков, она недостаточно продвинулась, чтобы оправдать огромные затраты на поддержание новой модели в рабочем состоянии. Обучение продолжительностью шесть месяцев может обойтись примерно в $500 млн только на вычислительные затраты.
Два года назад OpenAI и её гендиректор Сэм Альтман (Sam Altman) произвели фурор с выпуском ChatGPT. Тогда казалось, что ИИ проникнет во все аспекты жизни современного человека и существенно её улучшит. Аналитики предсказали, что в ближайшие годы затраты технологических гигантов на ИИ составят до $1 трлн. Самая большая ответственность возлагается на OpenAI, которая и породила бум ИИ.
Октябрьский раунд финансирования компании проводился при оценке $157 млрд — не в последнюю очередь из-за того, что Альтман пообещал «значительный скачок вперёд» по всех областях и задачах с GPT-5. Модель, как ожидается, будет совершать научные открытия и с лёгкостью выполнять повседневные человеческие задачи, такие как запись на приём и бронирование билетов на самолёт. Исследователи также надеются, что она научится сомневаться в собственной правоте и станет реже «галлюцинировать» — прекратит уверенно давать не соответствующие действительности ответы.
Если принять, что GPT-4 действует на уровне умного старшеклассника, то от GPT-5 в отдельных задачах ждут уровня доктора наук. Чётких критериев определить, достойна ли модель нового поколения называться GPT-5, не существует: системы тестируются на задачах по математике и программированию, но окончательный вердикт исследователи выносят на интуитивном уровне, и этого до сих пор не произошло. Про разработку больших языковых моделей говорят, что это не только наука, но и искусство.
Источник изображения: Growtika / unsplash.com Тестирование моделей производится во время тренировочных запусков — продолжительных периодов, в которые им отправляются триллионы токенов, то есть фрагментов слов. Крупный тренировочный запуск может потребовать нескольких месяцев работы дата-центров и десятков…
Подробнее https://7ooo.ru/group/2024/12/22/732-openai-ne-udaetsya-dodelat-gpt-5-orion-obuchenie-obhoditsya-dorogo-a-dannyh-ne-hvataet-grss-366855277.html