Создание высококачественных аниме-портретов с использованием искусственного интеллекта для начинающих

Рисование с использованием искусственного интеллекта:

от Японского передового института науки и технологий

Аниме, японское искусство анимации, представляет собой рисованные эскизы в абстрактной форме с уникальными характеристиками и преувеличением реальных сюжетов. В то время как генеративный искусственный интеллект (ИИ) нашел применение при создании контента, такого как аниме-портреты, его использование для расширения творческих возможностей человека и создания рисунков от руки оказывается сложной задачей.

Основная задача заключается в создании подходящих эталонных изображений, соответствующих неполным и абстрактным штрихам, сделанным в процессе рисования от руки. Это особенно верно, когда штрихи, созданные в процессе рисования, являются неполными и предоставляют генерирующему ИИ недостаточно информации для прогнозирования окончательной формы рисунка.

Чтобы решить эту проблему, исследовательская группа из Японского передового института науки и технологий (JAIST) и Университета Васэда в Японии стремилась разработать новый инструмент искусственного интеллекта, который предлагает прогрессивную помощь в рисовании и помогает создавать аниме-портреты по наброскам от руки.

Инструмент основан на платформе глубокого обучения "от эскиза к изображению" (S2I), которая сопоставляет необработанные эскизы со скрытыми векторами генеративной модели. В нем используется двухэтапная стратегия обучения с помощью предварительно обученной сети генерации состязательных стилей (StyleGAN) — современной модели генерации, которая использует состязательные сети для создания новых изображений.

Этот подход позволяет пользователям манипулировать параметрами атрибутов, тем самым получая большую автономию в отношении свойств создаваемых изображений. Доктор Хуанг говорит: "Мы внедрили в StyleGAN стратегию обучения без присмотра для распутывания штрихов в StyleGAN, которая позволяет автоматически сопоставлять грубые наброски с редкими штрихами с соответствующими локальными частями аниме-портретов, и все это без необходимости в семантических метках".

Это исследование будет представлено на ACM SIGGRAPH 2023, ведущей конференции по компьютерной графике и интерактивным техникам и единственной конференции с базовым рейтингом A * в области исследований по всему миру.

Что касается разработки инструмента, профессор. Се добавляет: "Сначала мы обучили кодировщика изображений, используя предварительно подготовленную модель StyleGAN в качестве кодировщика для учителей. На втором этапе мы смоделировали процесс рисования сгенерированных изображений без дополнительных данных, чтобы обучить кодировщик эскизов для выполнения незавершенных прогрессивных эскизов. Это помогло нам создать высококачественные портретные изображения, которые соответствуют разрозненным представлениям teacher encoder ".

Чтобы еще больше подчеркнуть эффективность и удобство использования AniFaceDrawing в оказании помощи пользователям в создании аниме-портретов, команда провела исследование пользователей. Они пригласили 15 аспирантов нарисовать цифровые портреты в стиле аниме от руки с помощью инструмента рисование в стиле Анифейс с возможностью переключения между режимами грубого и детального наведения для рисования линий.

В то время как первый предоставлял подсказки для конкретных частей лица, второй предоставлял подсказки для портрета в полный рост на основе прогресса пользователя в рисовании. Участники могли закрепить сгенерированное руководство, как только оно соответствовало их ожиданиям, и дополнительно усовершенствовать свой набросок. Этот инструмент также позволял участникам выбирать эталонное изображение для создания цветного портрета по их входному эскизу. Затем они оценили инструмент на предмет удовлетворенности пользователей и соответствия рекомендациям с помощью опроса.

Команда отметила, что система неизменно обеспечивала высококачественное изображение лица и эффективно поддерживала создание портретов в стиле аниме, не только улучшая пользовательские эскизы, но и генерируя желаемые соответствующие цветные изображения. Проф. Дж. Фукусато отмечает: "Наша система может успешно преобразовывать грубые наброски пользователя в высококачественные аниме-портреты. Исследование пользователей показало, что даже новички могут создавать разумные эскизы с помощью системы и в итоге получать высококачественные цветные рисунки ".

"Наша платформа generative AI позволяет пользователям, независимо от их уровня квалификации и опыта, создавать профессиональные аниме-портреты даже по незавершенным рисункам. Наш подход неизменно приводит к получению высококачественных результатов генерации изображений на протяжении всего процесса создания, независимо от порядка рисования или того, насколько плохи начальные эскизы ", - резюмирует профессор Мията.

В долгосрочной перспективе эти результаты могут помочь демократизировать технологию искусственного интеллекта и помочь пользователям в решении творческих задач, тем самым расширяя их творческий потенциал без технологических барьеров.