Обучение генеративной нейросети под стиль персонажей студии Laika
Идея проекта
Проект вдохновлен уникальной эстетикой анимационной студии Laika, создающей мультфильмы в технике покадровой кукольной анимации. Герои работ студии всегда выразительные и запоминающиеся — несмотря на сложность исполнения и подчеркнутую осязаемость материалов, персонажи остаются живыми и яркими.
Стиль Laika любим многими, однако работа над каждым проектом занимает многие годы из-за кропотливого и трудоемкого технического процесса. Поэтому данная модель была бы интересна не только фанатам, ожидающим новых очаровательных героев, но и экспериментирующим художникам, а также художникам и мультипликаторам работающим в той же технике для визуализации будущих персонажей, вдохновения или изучения и расширения стилевых приемов.
Исходные изображения для обучения
film-grab, parody.fandom, heritage auction
Процесс обучения
Генерация описаний (captioning)
Обучение LoRA-модели DreamBooth на SDXL
Использование модели для генерации
Поиск характера
В начале я пыталась определиться с характером персонажа. У меня не было четкого образа в голове, но было интересно, что вообще может выйти. В промте указывала род деятельности и настроение на сцене. Однако, несмотря на то, что было довольно много интересных и очень милых результатов, они мне казались несколько безликими, типичными.
Тогда я отбросила специальность и начала перебирать результаты по самому простому запросу «a girl in laika style» в ожидании, что увижу что-то, что меня зацепит. Наткнувшись на понравившийся результат, я просила чат gpt описать его и снова вставляла в промт для генерации изображений.
Здесь я уже совсем близко к пониманию того, как хочу, чтобы выглядела моя героиня. Стоит отметить, что я ещё в начале поняла: модель сильно деформирует глаза, если не делать на них акцент в детальном промте (в простых она все еще часто справляется сама, как видно на первых примерах). Но такой фокус приближает персонажа к зрителю, оставляя в поле зрения лишь голову.
Наконец, увидев эту генерацию, я поняла, что такого героя во вселенной Laika ещё не было. Девочка отличается, но при этом остаётся в рамках каноничных детских персонажей студии. Главное, как мне кажется, что даже по внешнему виду за ней читается некоторая история и характер. Теперь я просто шлифовала варианты, включив в промт кепи, белые кудри с контрастирующими чёрными бровями, тёплые и охристые цвета.
Итог
Young woman in LAIKA stop-motion style — large, expressive eyes with intricate irises, glossy reflections, and soft catchlights, eyes as the focal point; curly white hair, dark brown eyebrows, vintage
Как я уже сказала, проблема модели в том, что важно делать акцент на глаза, в результате чего персонажи выглядят адекватно, но при этом возможно генерировать только портреты. Создать full-body с сохранением черт лица было практически невозможно и просьбу учитывать полноростную фигуру модель в основном игнорировала либо вовсе галлюцинировала, создавая двух новых персонажей.
По более простому запросу изображения получались, но уже сильно отличались от намеченного персонажа.
Так мне пришлось использовать одну из ранее сгенерированных полноростных фигур, приклеив ей голову героини. Для придания однородности я создала отдельный блокнот в Colab, с hugging face скачала туда свою модель и применила StableDiffusionXLImg2ImgPipeline
Заключение
Модель успешно адаптирует стиль героев студии Laika: текстура кожи, волос, ткани, цвета, настроение, общий визуальный стиль. Однако важно помнить, что нужно либо придерживаться простого короткого промта, либо можно расширять, фокусируясь на глазах, что сократит угол обзора. Несмотря на эти особенности, с задачей модель справляется: с ее помощью можно разрабатывать и собирать идеи для новых персонажей в стиле любимой анимационной студии.
Описание применения генеративной модели
Для дообучения и генерации изображений использовалась модель Stable Diffusion. При составлении промптов, при загрузке и интеграции уже обученной модели с Hugging Face, а также помощи в исправлении ошибок кода применялась GPT-4-turbo. Анимация заключительного слайда: runway
