Capsule получает 4,75 миллиона долларов за свой видео-редактор на основе искусственного интеллекта- обобщает текст, генерирует изображения.

Способность ИИ заново изобретать веб-поиск остается туманной, но влияние технологий на повседневные инструменты кажется более многообещающим. Показательный пример: стартап под названием Capsule использует ИИ в программном обеспечении для редактирования видео, чтобы повысить скорость и эффективность пост-обработки. Запустив бета-версию своего редактора с искусственным интеллектом, компания получила начальное финансирование в размере 4,75 млн долларов для коммерциализации продукта.

Capsule говорит, что в долгосрочной перспективе такая технология может позволить любому творчески работать с видео, даже если он не является профессиональным видео-редактором.

Компания не всегда занималась технологиями искусственного интеллекта. Компания Capsule, основанная в 2020 году, возникла из той же команды, которая создала инструмент для захвата анимированных GIF и социальную сеть Phhhoto , которая в конечном итоге проиграла клону Instagram**** Boomerang. После закрытия своего приложения в 2017 году они перешли к экспериментальному маркетинговому бизнесу для живых мероприятий под названием Hypno . Но вскоре им пришлось изменить направление, когда пандемия COVID-19 положила конец необходимости в личных фотобудках Hypno и других интерактивных мероприятиях.

Это привело к созданию Capsule, платформы, которая начиналась как способ для брендов общаться со своими сообществами в эпоху после COVID, используя онлайн-вопросы и ответы и видео-истории. В 2021 году компания привлекла 2 миллиона долларов в качестве предварительного финансирования для своей совместной видеоплатформы от Array Ventures, Bloomberg Beta и различных бизнес-ангелов.

Компания не обязательно пытается использовать ИИ, чтобы взять на себя работу видеоредакторов. В нем говорится, что 90% его доходов поступает от предприятия, но, в частности, от недостаточно обслуживаемого рынка корпоративных команд, не имеющих опыта работы с видео, которым все еще требуется постоянство в брендинге. Его видеоплатформа использовалась в таких компаниях, как Snowflake, TED, Salesforce и The Wall Street Journal.

Совсем недавно Capsule начала изучать, как новые модели ИИ могут улучшить ее продукт.

Ссылаясь на данные HubSpot , компания указывает, что в 2023 году короткие видео будут расти быстрее, чем любой другой формат, и более 90% маркетологов заявили, что планируют либо сохранить, либо увеличить свои инвестиции в создание видео. Но спрос на видео превышает предложение профессиональных видеоредакторов, отмечает соучредитель и генеральный директор Capsule Чемп Беннетт.

«Несмотря на большое количество видеоинструментов на рынке, потребности корпоративных команд в значительной степени игнорируются»

Сказал он в объявлении о финансировании компании. «Спросите любого, кто занимается маркетингом, коммуникациями, продажами или успехом, и они скажут вам, что видео превосходит все другие форматы, но они также скажут вам, что не могут использовать его достаточно часто из-за того, насколько дорого и сложно его создавать. Делать."

Чтобы решить эти проблемы, Capsule создала AI Studio , которая фокусируется на постпроизводственном редактировании видео на основе ИИ.

В декабре компания продемонстрировала демонстрацию технологии (см. ниже), которая использует искусственный интеллект и машинное обучение в различных моделях, включая модель ASR (автоматическое распознавание речи) для преобразования звука видео в текст.

Он также предлагает модель распространения для создания изображений B-roll из расшифровки, а также генеративную LLM (модель большого языка), которая суммирует текст из расшифровки.

По словам компании, программное обеспечение AI Studio работает в браузере и не требует приложений или расширений.

После загрузки видео на платформу Capsule создает расшифровку, которая размещается сбоку от видео для использования при редактировании. В демонстрации компания показала, как пользователь может выбрать блок текста, а затем нажать кнопку, чтобы текст автоматически суммировался и превратился в заставку, используя AI и его язык разметки видео. Доступны различные стили карточек, в том числе анимированная титульная страница и титульная карточка, которая появляется под видео, каждый из которых можно выбрать одним щелчком мыши.

Он также показал, как вы можете выбрать блок текста, а затем заставить ИИ автоматически генерировать изображение на основе предмета, указанного в выделенном тексте. Кроме того, вы можете щелкнуть поле текстовой подсказки и настроить текст для более точного контроля над конечными результатами.

Другая функция позволяет выбрать строку текста, чтобы она отображалась в одном из нескольких доступных стилей подписи, например полноэкранный текст, анимированные подписи или даже подпись в стиле твита.

«То, что мы делаем для видео, похоже на то, что такие компании, как Jasper, делают для копирайтинга или Replit для кодирования. Мы не владеем моделями. Вместо этого мы используем лучшие базовые модели, чтобы сделать создателей видео в 10–100 раз более продуктивными, одновременно снижая барьер для входа, чтобы команды, занимающиеся маркетингом, продажами, успехом и лидерством, могли самостоятельно создавать привлекательные видеоролики о бренде».

Сами правки основаны на языке сценариев видео Capsule, CapsuleScript, созданном за последние пару лет и предназначенном для работы в браузере. Все выходные данные модели ИИ передаются в качестве входных данных в CapsuleScript.

«Подумайте, что такое HTML/CSS для веб-сайтов и CapsuleScript для видео. Он может динамически отображать видео как во время создания, так и во время выполнения, что впервые позволяет создавать персонализированное видео в масштабе»

Говорит Беннетт, но он поясняет, что клиенты Capsule не ищут полностью автоматизированное решение «в один щелчок», хотя CapsuleScript на это способен.

«На самом деле клиенты хотят, чтобы на 80 % была автоматизация и на 20 % — персонализация, чтобы они могли рассказать уникальную креативную историю без лишних хлопот»

По словам компании, после того, как демоверсия была опубликована, компании пришлось поставить доступ к AI Studio в список ожидания из-за спроса.

Capsule заявляет, что благодаря дополнительному финансированию наймет ключевых специалистов в области разработки, дизайна продуктов и маркетинга, чтобы помочь ей быстрее коммерциализировать свой продукт AI Studio. Он хочет добавить дюжину штатных сотрудников, в том числе инженера по машинному обучению, инженера по интерфейсу, руководителя отдела видео и маркетинга и дизайнера продуктов.