Прорыв в технологии генерации видео с использованием ИИ и перспективы интеграции с Web3

Недавние самые значительные достижения в области ИИ связаны с прорывом технологий многомодальной генерации видео. Эта технология прошла путь от простого текстового генерации видео к интеграции текста, изображений и аудио в полную цепочку генерации.

Некоторые выдающиеся технологические прорывы включают в себя:

1. Открытая платформа EX-4D, разработанная технологической компанией, может преобразовывать обычные видео в 4D-контент с свободным углом обзора, уровень одобрения пользователей составляет 70,7%. Эта технология позволяет автоматически генерировать многократные углы просмотра из одного видео, что в прошлом требовало профессиональной команды 3D-моделирования.

2. Некоторая AI-платформа утверждает, что может создавать 10-секундные видео "кинематографического" качества на основе одного изображения. Каков будет конкретный эффект, еще нужно дождаться обновления профессиональной версии для подтверждения.

3. Известное исследовательское учреждение в области ИИ внедрило новую технологию, которая может синхронно генерировать 4K-видео и окружающий звук. Ключевым моментом этой технологии является достижение истинного семантического соответствия, что позволяет преодолевать вызовы синхронизации звука и изображения в сложных сценах.

4. Технология генерации видео на основе ИИ на одной из платформ коротких видео имеет 8 миллиардов параметров и может создавать видео 1080p за 2,3 секунды, стоимость составляет примерно 3,67 юаня за 5 секунд. Хотя управление затратами неплохое, качество генерации в сложных сценах все еще имеет пространство для улучшения.

Эти технологические прорывы имеют огромное значение в таких аспектах, как качество видео, стоимость генерации и области применения. С технической точки зрения, сложность многомодальной генерации видео является экспоненциальной. Это не только требует обработки огромного количества пикселей, но также необходимо обеспечить временную согласованность, синхронизацию аудио и согласованность в 3D-пространстве. В настоящее время эти сложные задачи реализуются благодаря модульному разбиению и сотрудничеству больших моделей.

С точки зрения затрат, оптимизация архитектуры вывода, включая многоуровневую стратегию генерации, механизм повторного использования кеша и динамическое распределение ресурсов, значительно снизила стоимость генерации видео.

Эти технологические достижения оказали огромное влияние на традиционную индустрию видеопроизводства. Технологии ИИ упростили процесс видеопроизводства, который раньше требовал большого количества оборудования, площадей, рабочей силы и времени, до нескольких минут ожидания, при этом достигая эффектов, которые традиционная съемка не могла бы достичь. Это может стать причиной новой волны переустройства в экономике создателей.

Так какое отношение имеют достижения технологий Web2 AI к Web3 AI?

Во-первых, структура спроса на вычислительную мощность изменилась. Генерация многомодальных видео требует разнообразных комбинаций вычислительной мощности, что создает новые возможности для распределенной неиспользуемой вычислительной мощности.

Во-вторых, возросла потребность в профессиональной аннотации данных. Для создания качественного видео необходимы точные описания сцен, эталонные изображения, аудиостили и другие профессиональные данные. Механизмы стимулов Web3 могут привлечь профессионалов для предоставления высококачественных данных.

В конце концов, развитие технологий ИИ от централизованного распределения ресурсов к модульному сотрудничеству само по себе является новой потребностью в децентрализованных платформах. В будущем вычислительная мощность, данные, модели и механизмы стимулирования могут создать самоподдерживающийся положительный цикл, способствующий глубокому слиянию сценариев Web3 AI и Web2 AI.