Sora от OpenAI, создателя ChatGPT: как работает нейросеть, способная генерировать новые видео и симулировать миры

В феврале 2024 года американская компания OpenAI, прославившаяся после создания чат-бота ChatGPT, рассказала о новой нейросети Sora. Она умеет создавать короткие, до одной минуты, Full HD-видео по текстовому описанию пользователя. «Лента.ру» рассказывает, в чем особенности Sora, как ею пользоваться и почему о ней все говорят.
Что такое Sora
Sora — это модель искусственного интеллекта, которая генерирует короткие видеоролики в высоком разрешении, основываясь на открытых данных. Впервые компания OpenAl рассказала о новинке 15 февраля 2024 года. При этом сам сервис публике представлен не был, и оформить на нее подписку пока нельзя.
Предыдущие продукты компании
Sora прославилась сразу же после релиза — как минимум потому, что ее создала OpenAI. Детище программиста Сэма Альтмана уже покорило мир своими разработками — ChatGPT и Dall-E 3, поэтому и от нового запуска ждали чего-то невероятного.
Реалистичность
Сама идея создания видеоконтента с помощью нейросетей не нова. Но принципиальное отличие этой нейросети — высокое качество и впечатляющая реалистичность. 15 февраля компания показала несколько роликов, чтобы продемонстрировать возможности Sora. Пользователей отметили мельчайшие детали получившегося контента: например, в сгенерированном Sora видео, в котором женщина идет по улице Токио, на коже лица главной героини видны поры и следы тонального крема, а в ее прическе — отдельные волоски.
Удивителен и тот факт, что Sora умеет в одном кадре собирать очень сложные, многосоставные композиции, каждая из которых имеет свою моторику: в ролике-представлении нейросети, например, показали толпу людей на ярмарке возле кофейни. На крупном плане видно, что каждый из присутствующих чем-то занят и имеет свою цель. Для кинематографа это несложная сцена, но для ИИ это значит, что каждому человеку на видео он прописал собственный сценарий, смоделировал последовательность его движений и скомпановал все объекты в ролике так, чтобы они выглядели органично и не мешали друг другу.
Однако Sora может собирать не только ролики, похожие на снятые людьми, но и анимацию в стиле мультфильмов компании Pixar или игры Minecraft.
Но Sora не всесильна. Вирусным стал клип Air Head («Воздушные головы»), который, как утверждалось, сгенерировали при помощи новой нейросети. OpenAl активно делилась этим видео во всех социальных сетях.
Впоследствии создатели признались, что роль Sora в создании ролика была не так уж и велика: оказалось, что клип прошел мощный постпродакшн при помощи специалистов.
Как пользоваться
Sora создает видео по текстовым запросам. Пользователь может задать нейросети минимальные условия, например, «сделай клип на эту песню» или «собери поздравительное видео…
Подробнее https://7ooo.ru/group/2024/05/06/927-sora-ot-openai-sozdatelya-chatgpt-kak-rabotaet-neyroset-sposobnaya-generirovat-novye-video-i-simulirovat-miry-grss-305504347.html