Обучение генеративной нейросети Stable Diffusion под стиль Sakamoto Shinich

В качестве исходных изображений, под чей стиль будет обучаться нейросеть StableDiffusion, я решила выбрать работы японского художника-мангаки Синъити Сакамото, который также известен по манге "Безвинный". Стиль этого художника достаточно уникален, приближен к реализму. Также поражает его невероятная кропотливость в изображении деталей, поэтому мне стало интересно, насколько хорошо нейросеть сможет сгенерировать итоговые изображения, учитывая эти особенности.

В проекте использовались следующие инструменты:

— ChatGPT 4 для генерации промптов — Stable Diffusion — Google Colab — Hugging Face

Изображения для обучения были отобраны непосредственно из манги "Безвинный" Синъити Сакамото. Основная часть из них была обрезана под квадратный размер. Учитывая особенность манги в целом, все изображения были черно-белыми. Цель проекта заключалась в том, чтобы нейросеть смогла попасть именно в уникальный детализированный стиль автора.

После того как все изображения были собраны и подготовлены, можно было приступать уже к самому обучению нейросети.

После установки всего необходимого, нужно было загрузить сами изображения. Для этого я использовала встроенную функцию в Google Colab.

Еще один этап подготовки датасета для обучения - генерация подписей к каждому изображению с помощью BLIP.

Когда весь подготовительный этап был окончательно завершен, необходимо было ввести сгенерированный токен в систему Hugging Face. После чего можно было приступать к обучению нейросети. Для более быстрой и оптимизированный работы я выбрала разрешение изображений в 512 пикселей, максимальный шаг - 500, а чекпоинт - 250. Таким образом, все время тренировки составило 40 минут.

Когда обучение было завершено, можно было сохранить полученную модель на Hugging Face, после чего приступать к генерации новых изображений.

Для первой пробы генерации был использован промпт "art in SAKAMOTO SHINICHI style, girl with a two-handed sword in Victorian clothes". Нейросеть отлично передала детализацию в изображении волос и одежды, и в целом общую атмосферу работ Синъити Сакамото. Однако явно заметны проблемы в изображении рук и черт лица, они слишком уж сломанные.

Следующие генерации были гораздо менее удачными: очевидно нейросеть с трудом изображает более одного человека на картинке, также ей не очень удается точно изобразить окружение в комбинации с людьми. Все еще наблюдаются проблемы с лицами и руками.

Для этого захода были использованы промпты:

1. art in SAKAMOTO SHINICHI style, a portarit of male worker in a Victorian factory, surrounded by machinery, with a concentrated expression on his face, in a smoky and noisy room.
2. art in SAKAMOTO SHINICHI style, a portarit of a Victorian scientist in a laboratory working on an experiment surrounded by glass flasks and books, with a desk lamp illuminating his face
3. art in SAKAMOTO SHINICHI style, a portarit of a young musician playing the violin in an elegant suit

Что было подмечено, так это то, что изображения, сгенерированные промптами, где присутствует слово "portrait" и обозначение века выглядят еще хуже. Также я заметила, что на ухудшаемость генерации влияет наличие слов, обозначающих эмоции. Поэтому было решено сокращать следующие промпты для генерации.

Обученная нейросеть так или иначе хорошо справляется с изображением деталей, которые присущи стилю Сакамото.

Использованные промпты для изображений ниже:

1. art in SAKAMOTO SHINICHI style, a young woman from high society, wearing a luxurious dress with a corset
2. art in SAKAMOTO SHINICHI style, a young lady, wearing wearing a fashionable dress and a large hat with feathers

Также интересным было то, как нейросеть генерировала уже цветные изображения. Для этого захода я решила протестировать еще и генерацию картинок именно какого-то окружения, без людей.

Использованные промпты для изображений ниже:

1. art in SAKAMOTO SHINICHI style, framed composition of rose bouquets
2. art in SAKAMOTO SHINICHI style composition of a blooming garden in spring, with various flowers such as tulips, daffodils and roses
3. art in SAKAMOTO SHINICHI style, composition of a blooming garden in spring, with various flowers such as tulips, daffodils and roses, sky and grass