Прорив технологій генерації відео на основі ШІ та перспективи інтеграції з Web3

Останнім часом найбільш значним досягненням у сфері штучного інтелекту стала революція в технології генерації мультимедійних відео. Ця технологія вже перейшла від простого генерування відео з тексту до інтеграції тексту, зображень та аудіо в повноцінну генерацію.

Деякі вражаючі технологічні прориви включають:

1. Відкритий фреймворк EX-4D, розроблений технологічною компанією, може перетворювати звичайне відео на контент у вільному ракурсі 4D, а рівень схвалення користувачів досягає 70,7%. Ця технологія робить можливим автоматичне створення багатокутового перегляду з одного відео, що раніше вимагало професійної команди 3D-моделювання.

2. Один AI платформа стверджує, що може використовувати одне зображення для створення 10-секундного "кінематографічної" якості відео. Який конкретно буде ефект, ще потрібно дочекатися оновлення його професійної версії.

3. Відома дослідницька організація в галузі штучного інтелекту представила нову технологію, яка може синхронно генерувати 4K відео та звукове середовище. Ключем до цієї технології є досягнення справжнього семантичного рівня відповідності, що дозволяє подолати виклики синхронізації звуку та зображення в складних сценах.

4. Технологія генерації відео на основі штучного інтелекту певної платформи коротких відео має 80 мільярдів параметрів і може генерувати 1080p відео за 2,3 секунди, вартість приблизно 3,67 юаня за 5 секунд. Хоча контроль витрат є непоганим, проте якість генерації в складних сценах все ще має простір для покращення.

Ці технологічні прориви мають велике значення для якості відео, витрат на генерацію та застосування в різних сферах. З технологічної точки зору, складність мультимодальної генерації відео є експоненційною. Це не лише вимагає обробки величезної кількості пікселів, але й забезпечення часової узгодженості, синхронізації аудіо та просторової узгодженості 3D. Наразі ці складні завдання реалізуються шляхом модульного розподілу та співпраці великих моделей.

Щодо витрат, шляхом оптимізації архітектури висновків, включаючи ієрархічні стратегії генерації, механізми повторного використання кешу та динамічне розподілення ресурсів, витрати на генерацію відео значно знижуються.

Ці технологічні досягнення суттєво вплинули на традиційну індустрію відеовиробництва. Технології штучного інтелекту спростили процес відеовиробництва, який раніше вимагав великої кількості обладнання, приміщень, людських ресурсів та часу, до кількох хвилин очікування, при цьому дозволяючи досягати результатів, яких важко досягти традиційною зйомкою. Це може викликати новий етап перетворень у економіці творців.

Отже, яке відношення мають ці досягнення технологій Web2 AI до Web3 AI?

По-перше, структура попиту на обчислювальні потужності змінилася. Генерація мультимодальних відео потребує різноманітних комбінацій обчислювальної потужності, що створює нові можливості для розподілених невикористаних обчислювальних потужностей.

По-друге, зростає потреба в професійному маркуванні даних. Для створення високоякісного відео потрібні точні описи сцен, зображення для посилання, аудіо стиль та інші професійні дані. Механізм стимулювання Web3 може залучити фахівців для надання високоякісних даних.

Нарешті, технологія штучного інтелекту розвивається від централізованого масштабного розподілу ресурсів до модульної співпраці, що є новою потребою для децентралізованих платформ. У майбутньому обчислювальна потужність, дані, моделі та механізми стимулювання можуть утворити самопідсилювальний позитивний цикл, що сприятиме глибокій інтеграції Web3 AI і Web2 AI.