Обучение генеративной нейросети под стиль Саши Робинсон

В качестве обучения нейросети я решила взять картины Саши Робинсон, чей уникальный стиль вызывает у меня искреннее восхищение. Ее произведения наполнены яркими цветами, которые словно оживляют серые будни и наполняют сердце радостью.

Для начала я собрала 26 картинок 1:1 хорошего качества.

Далее загрузила в блокнот Google Colab все необходимые библиотеки.

После этого загрузила все необходимые изображения.

Далее я сгенерировала подписи в виде промптов с помощью BLIP.

После этого я зарегистрировалась на сайт Hugging Face, создала токен и ввела его в систему Google Colab. Далее создала настройки изображений будущей модели.

После всех этих действий я сохранила получившуюся модель и приступила к генерации изображений.

Ссылка на модель https://huggingface.co/Milana3/robinson_style_LoRA

Ссылка на блокнот с кодом https://colab.research.google.com/drive/1ZngLYBZcmKAbtyHDQOjmZ4Iqp1PBrs1H?usp=sharing

Я начала генерацию изображений, используя точные указания по цветовой палитре и стилю вазы. В результате изображения получились визуально близкими к стилю художницы: в них присутствуют характерные для неё элементы — интересные цветы, линии и точки, которые я специально включала в промты. Цветовая гамма также соответствует её уникальному стилю. Однако цветы на изображениях вышли слишком реалистичными, тогда как в работах художницы они более абстрактные.

1. photo collage in ROBINSON style, pink tulips in a blue polka dot vase
2. photo collage in ROBINSON style, white lilies in a striped vase

Затем я решила попробовать указывать в промтах только цветы, без конкретных указаний на стиль вазы. На первом изображении получились абстрактные цветы, фон и сама ваза, что приблизило результат к стилю художницы. На втором изображении цветы всё ещё выглядели реалистично, но ваза уже содержала геометрические элементы, характерные для её работ.

1. photo collage in ROBINSON style, roses in a vase
2. photo collage in ROBINSON style, peones in a vase

После этого я решила попробовать указывать в промтах не конкретные цветы, а их сезон. В результате изображения получились яркими и наивными — именно такими, какие часто встречаются в работах художницы. Однако в них всё же не хватало нужной степени абстракции, характерной для её стиля.

1. photo collage in ROBINSON style, spring flowers in a vase
2. photo collage in ROBINSON style, bright summer flowers in a vase

Далее я решила поэкспериментировать с фоном и добавить больше абстракции, которой так не хватало в предыдущих изображениях. В первом случае я чётко указывала, какой именно фон мне нужен, а во втором — просила изобразить абстрактные элементы. В итоге получилось именно то, чего я добивалась: яркий, необычный фон, множество абстрактных деталей и характерный детский, наивный стиль, близкий к работам художницы.

1. photo collage in ROBINSON style, daisies in a vase, lines on the background
2. photo collage in ROBINSON style, mimosa in vase, abstract blue background
3. photo collage in ROBINSON style, abstract bright flowers in a vase
4. photo collage in ROBINSON style, flowers in a vase, on an abstract unusual background
5. photo collage in ROBINSON style, flowers in a vase, plain background
6. photo collage in ROBINSON style, flowers in a vase, plain bright background
7. photo collage in ROBINSON style, flowers in a vase, plain very bright blue background