Обучение нейросети созданию иллюстраций коров в стиле 1coweveryday

Когда-то давно, в 2021 году при поиске иллюстраций я обнаружила интересный блог девушки, которая каждый день рисовала коров. Этот проект в то время был для меня своего рода мотивацией — я следила за тем, как она каждый день выкладывает новую иллюстрацию, которая не повторяла предыдущую. Так я поняла, что на самом деле, на любую вещь можно посмотреть с разных углов и передать её по разному.

Как только 2021 год закончился, проект закрылся, а я всё реже начала о нем вспоминать. Но начав работать над этим финальным заданием, я неожиданно вспомнила о том, как любопытно мне было рассматривать те изображения коров, и решила окунуться в теплое и любимое прошлое, снова погрузившись в воспоминания

Для обучения модели я использовала среду Kaggle, поскольку там меньше ограничений на использование gpu, что было для меня важно — хотелось быть уверенной в том, что процесс не оборвется в неподходящий момент.

Обучала я нейросеть Stable Diffusion с помощью DreamBooth в модели был создан стиль иллюстрации — illustration of a 1CED cow. (1CED — сокращение от 1coweveryday). Также был использован метод LoRA, который позволил сократить время обучения модели.

Для обучения модели я использовала 102 оригинальные. иллюстрации от 1coweveryday, максимальное число шагов для тренировки было выставлено 1000 с чекпоинтом на 500 шаге. Разрешение было выбрано 512, чтобы не перегружать слишком сильно систему

Для начала я просто попробовала вводить обычные промпты и столкнулась с первыми проблемами — у коров было слишком много ног

Промпт: illustration of a 1CED cow one cow with 4 hooves, with curls

Поняв, что просто так вписывать в промпт «4 копыта» бесполезно, я стала искать дальше в чем могла быть проблема и постепенно пришла к следующей структуре кода: у меня есть промпт и негативный промпт, а также далее я детальнее пишу информацию по guidance scale, lora scale и seed, но об этом далее

Дальше, выработав базу из кода, я начала изучать, что можно исправить и как можно подкрутить дальнейшие настройки, так, чтобы изображения были больше похожи на изначальный стиль. Начала я с seedов в сочетании с lora scale

Я взяла первые 4 seed’а и на примере одного и того же промпта посмотрела, как каждый из них будет работать при lora scale в значении 0.4 и 0.8

Промпт: illustration of a 1CED cow one cow, in two colors on a blue background, realistic body, 4 legs, clean anatomy

Негативный промпт: extra limbs, extra legs, mutated, deformed, disfigured, distorted, bad anatomy, unrealistic, poorly drawn, fused body, ugly

Так я наглядно поняла, что первый seed чаще всего выдает результат с множеством ног, а на втором будет не одна корова, а множество. Самыми стабильными мне показались 3 и 4 — их я далее в проекте и продолжила использовать.

Что касается lora scale — я поняла, что чем ниже это значение, тем реалистичнее и дальше от изначального стиля получается генерация, поэтому дальше решила посмотреть, какое значение лучше всего подойдет в дальнейшем, чтобы не переборщить со стилем и вместе с тем чтобы его выдержать максимально

На примере одного промпта я экспериментировала с разными значениями lora scale, чтобы найти идеальное для себя. Им стало значение около 0.8 — при этом значении стиль всё ещё прослеживается, при этом не возникают артефакты как при использовании lora scale со значением 1.

Промпт: llustration of a 1CED cow one cow, a pastel fantasy cow with red strawberry horns, leaf tail, light pink and white body, red hooves, cartoon style, on a blue background, realistic body, 4 legs, clean anatomy

Негативный промпт: extra limbs, extra legs, mutated, deformed, disfigured, distorted, bad anatomy, unrealistic, poorly drawn, fused body, ugly

Далее, всё также на примере одной иллюстрации я решила проэкспериментировать с guidance scale, поскольку мне было интересно проследить то, насколько сильно от изменения этого параметра будет меняться весь стиль в целом

Промпт: illustration of a 1CED cow one cow, a cute fluffy orange cow with wavy fur, pink ribbon horns, deep blue background, realistic body, 4 legs, clean anatomy

Негативный промпт: extra limbs, extra legs, mutated, deformed, disfigured, distorted, bad anatomy, unrealistic, poorly drawn, fused body, ugly

Таким образом я поняла, что чем ниже этот параметр, тем дальше иллюстрация уходит от изначального стиля и становится более детализированной (изначально стиль автора не такой), при этом добавляются цвета и формы несвойственные стилю. Для себя я определила комфортное значение на уровне 8. Так стиль остается узнаваемым и в нем не возникает лишних деталей или артефактов

Для финальных иллюстраций я использовала seed со значением 3 (при этом иногда я переходила на 6, так как он работал лучше в некоторых ситуациях), lora scale 0.8 и guidance scale 8. Так получилось несколько серий иллюстраций разных коров, где каждая не похожа на другую и при этом выполнена в едином стиле

Негативный промпт (единый для всех): extra limbs, extra legs, mutated, deformed, disfigured, distorted, bad anatomy, unrealistic, poorly drawn, fused body, ugly

Промпт 1: illustration of a 1CED cow one cow, a dreamy sunset-colored cow with soft orange and peach fur, golden highlights, small flower petals in its mane, glowing hooves, calm expression, blue background, realistic body, 4 legs, clean anatomy

Промпт 2: illustration of a 1CED cow a soft baby calf with light beige fur, large round eyes, pink nose, small fuzzy ears, curly fur texture, blue background, calm and delicate expression, realistic body, 4 legs, clean anatomy

Промпт 3: illustration of a 1CED cow a cow with long curved horns, soft black fur, subtle gradient on the body, blue background, realistic body, 4 legs, clean anatomy

Промпт 4: illustration of a 1CED cow long-haired white cow lying down with legs folded under the body, soft and fluffy fur, peaceful expression, light-blue background, realistic body, 4 legs, clean anatomy