Идея проекта
Мне стало интересно, как нейросеть повторит стиль моих иллюстраций для сервиса юридической поддержки галерей и художников, созданный студентками юридического факультета НИУ ВШЭ. Я рисовала этих котов для фирменного стиля одного проекта. Проект закрылся, а 14 иллюстраций остались. Для фирменного стиля нужно много персонажей в разных ситуациях, и каждую позу я рисовала вручную. Поэтому задачей становится обучение нейросети этому стилю, чтобы посмотреть, насколько похоже она сможет создавать иллюстрации, которые могут быть использованы в фирменном стиле проекта. А также что нового может привнести генерация в стиль проекта.
Набор изображений для обучения
В датасете собраны 14 моих иллюстраций квадратного формата, 1500 на 1500 пикселей, на белом фоне.Я обучила LoRA для Stable Diffusion XL на своих рисунках и сгенерировала серию из девяти котов в новых позах.
Характерные черты иллюстраций:— плоская заливка без градиентов и теней
— черный контур неровной «живой» линии
— тонкая штриховка на шерсти, полоски на лбу и спине
— зеленые глаза с вертикальным зрачком, розовый нос, длинные тонкие усы
Результаты
«drawing in MIHAILOVA style, a red cat asleep on an open laptop»
«drawing in MIHAILOVA style, a red cat carrying an envelope in its teeth»
«drawing in MIHAILOVA style, a red cat jumping over a cardboard box»
«drawing in MIHAILOVA style, a red cat sitting on a stack of folders»
«drawing in MIHAILOVA style, a red cat licking its paw»
«drawing in MIHAILOVA style, a red cat peeking out of a desk drawer»
Комментарии
Нейросети удалось повторить общий стиль, технику рисования, детали: заливка цветов, характер штрихов, глаза. Но допускались ошибки в виде лишних лап, хвостов и не совсем корректных форм. Часто нейросеть не могла разделить двух котов и слепляла их в единое существо. Поэтому было еще несколько попыток генераций с целью создания более правильных и презентабельных иллюстраций.
Результат 2
«drawing in MIHAILOVA style, a red cat asleep on an open laptop»
«drawing in MIHAILOVA style, a red cat asleep on an open laptop»
«drawing in MIHAILOVA style, a red cat carrying an envelope in its teeth»
«drawing in MIHAILOVA style, a red cat jumping over a cardboard box»
«drawing in MIHAILOVA style, a red cat sitting on a stack of folders»
«drawing in MIHAILOVA style, a red cat peeking out of a desk drawer»
«drawing in MIHAILOVA style, an orange cat lying on its back with paws up»
«drawing in MIHAILOVA style, a beige cat and a brown cat sitting back to back»
«drawing in MIHAILOVA style, an orange cat is lying on pieces of paper»
«drawing in MIHAILOVA style, a red cat scratches the safe with its claws»
Выводы
Нейросеть обучилась основным чертам стиля, в точности повторяет цветовую палитру, стиль иллюстрации, уникальные формы котов. Морды имеют неточности, но в целом совпадает с моими рисунками. Получилось повторить обводку, штрихи по форме тела котов, рванные неровные линии, но фон часто получается разным, не белым, как в датасете. Однако, все равно возникают артефакты, хоть и менее часто с каждой попыткой генерации. Получившиеся изображения все равно нуждаются в доработке художником, ведь многие из ошибок нейросети недопустимы для стиля проекта. Тем не менее, с помощью нейросети удается визуализировать идеи в нескольких вариантах, увидеть композиционно. Такой способ скорее является помощником художнику, но никак не заменяет его работу.
