Обучение генеративной нейросети в стиле Moon Chanpil

Moon Chanpil — иллюстратор из Южной Кореи, его работы пугают необычной рисовкой глаз и одновременно привлекают смягчающей цветовой гаммой и формами.

Я выбрала этого автора, потому что такую рисовку и переходы цвета сложно повторить обычной генерацией по референсу и обучение модели — оптимальное решение данной задачи. При этом вполне реализуемое, иллюстрации сами по себе отсылают к цифровому искусству.

Так как большинство иллюстраций посвящены женским образам, темой генераций стали значимые женские фигуры в мировой истории.

Целью генераций было не клонирование работ художника, а развитие стиля на новых образах и персонажах. Из-за это возникали трудности с формированием границ лица.

В процессе генераций и уточнения промта эту проблему удалось решить и в результате получилось сохранить узнаваемые элементы стиля и отобразить новые женские персонажи.

Удалось передать узнаваемые глаза, принцип заливки лица, векторные мазки, а также пастельную цветовую палитру.

Проект был выполнен в среде Google Collab с использованием GPU.

Обучение модели началось с установки необходимых библиотек и сбора изображений в виде датасета для дальнейшего анализа.

Далее изображения были загружены в Google Colab. Следующим шагом необходимо было проверить, что подгруженный датасет отображается в коде.

Затем с помощью модели BLIP к каждому изображению была создана подпись, отображающая сюжет в корректной формулировке.

После была подключена система Hugging Facе и началось обучение, используя предобученную модель stable-diffusion-xl-base-1.0. Заданные параметры: разрешение 512, максимальный шаг тренинга 1000, чекпоинт 500.