Как создать интерактивный 3D-мир?

Компания Google открыла ранний доступ к своему экспериментальному проекту Genie 3 — модели, которая генерирует интерактивные 3D-миры за счет текстового описания или изображения. На данный момент прототип доступен только подписчикам платного тарифа Google AI Ultra в США (стоимость — $250 в месяц, 19 тыс. руб).

Project Genie работает как веб-приложение и позволяет не просто создать статичную сцену, а исследовать ее, управлять персонажем и «видеть» мир его глазами. Система работает в трех режимах:

• Создание мира. Пользователь описывает сцену текстом или загружает изображение-референс, выбирает тип персонажа (человек, животное объект и т. д.) и перспективу (от первого или третьего лица). Мир интегрирован с генератором изображений Nano Banana Pro, который позволяет предварительно просмотреть и скорректировать недочеты созданной вселенной.
• Исследование. После запуска Genie 3 начинает генерировать окружение в реальном времени — в формате 24 кадра в секунду и в разрешении 720p. Модель предсказывает, как среда будет реагировать на действия пользователя, симулируя базовую физику. В новой версии появилась визуальная память, позволяющая сохранять консистентность сцены в течение нескольких минут.
• Пользователи также могут взять за основу своего творения мир из публичной галереи, сгенерированный другими пользователями, и переработать его под свои предпочтения.

У текущей версии программы присутствуют ограничения. Сессия одного «погружения» в сгенерированный мир может длиться не более 60 секунд. Миры могут не всегда точно соответствовать промпту или законам физики, а управление персонажем иногда бывает «вязким» и медленным (персонаж не поспевает за нажатием клавиш). Функция динамических событий (смена погоды, появление объектов по ходу игры), анонсированная ранее, в текущую версию пока не вошла.

В Google DeepMind рассматривают подобные «модели мира» как важный шаг на пути к созданию общего искусственного интеллекта (AGI), поскольку они позволяют обучать ИИ-агентов на бесконечном количестве сценариев.