4DV AI запустила новую технологию 4D Gaussian Splatting для обработки видео

Как работает 4D Gaussian Splatting и что умеет делать

Gaussian Splatting — это способ визуализации, при котором видео разбивается на «облака точек» с цветом, формой и координатами в 3D. Новая разработка 4DV AI добавляет к этому измерение времени, позволяя создавать динамичные 4D-модели, основанные на обычных видеозаписях.

Всё это работает в реальном времени: сцена заново пересобирается под выбранный ракурс при каждом движении камеры. Посмотрите демки можно на официальном сайте сервиса.

На практике это означает, что можно смотреть клип, документалку или спортивный повтор и свободно «ходить» по сцене, приближаясь, отдаляясь или разворачиваясь, как в 3D-игре. Технология уже показывает впечатляющую производительность — до 467 FPS на RTX 4090, с качеством визуализации выше предыдущих решений на 2,4 dB (по PSNR).

4DV AI превращает пассивный просмотр в активное исследование. Примерные сценарии использования:

• Кино и клипы — зритель сам выбирает, на что смотреть.
• Образование — виртуальные экскурсии и лаборатории.
• Электронная коммерция — объёмные презентации товаров.
• Спорт и события — повторы с любого угла.
• Музеи и архивы — реконструкция утерянных пространств.
• Forensics — анализ событий с возможностью свободного обзора.

Платформа работает прямо в браузере, без установки ПО, благодаря WebGL и движку PlayCanvas. Интерфейс похож скорее на редактор, чем на типичный технодемо: пользователь просто загружает видео (лучше 2K или 4K), система анализирует данные и выдает управляемую сцену.

Ранее появилась нейросеть Higgsfield Speak, которая позволяет создавать видео с ИИ-аватарами.