В качестве одного из студенческих проектов, мной была создана серия иллюстраций в стиле китайских живописи написанной тушью.
Концепция
Меня всегда вдохновляла эстетика традиционной китайской живописи тушью 水墨画, гохуа, так же называемой шуймохуа — её философская глубина, минимализм и особая выразительность каждого мазка. Возник вопрос: можно ли научить современную нейросеть воспроизводить этот тысячелетний стиль — не просто копируя существующие работы, а создавая новые композиции с сохранением эстетики и философии оригинала?Я решила обучить генеративную модель Stable Diffusion XL на основе собственного датасета традиционных китайских гравюр тушью. Цель — получить «цифрового двойника» этого стиля, способного генерировать изображения гор, бамбука, птиц и цветов в подлинной технике восточной живописи.Подготовленный датасет состоит из 10+ иллюстраций, отобранных по принципу стилистического единства: монохромная гамма, каллиграфические линии, узнаваемые мазки.
примеры референсов для обучения
Поскольку исходные изображения имели разные пропорции, мной заранее были подготовлены файлы нужного формата 1:1, квадратные.
Описание процесса обучения
Настройка окружения
Для работы использовалась среда Google Colab с GPU-ускорением. Мы использовали следующие библиотеки:Diffusers — фреймворк для работы с диффузионными моделямиTransformers — библиотека Hugging Face для загрузки предобученных моделейPEFT (Parameter-Efficient Fine-Tuning) — для эффективного дообучения через LoRABitsandbytes — для 8-битной оптимизации (экономия видеопамяти)
Подготовка датасета
Изображения были собраны в папку chinese_ink/ и приведены к единому формату 512×512 пикселей. Для каждого изображения автоматически сформирован файл metadata.json с промптом:
Префикс промпта «traditional Chinese ink wash painting in classical style» служит ключевым идентификатором стиля — именно по этим словам модель в дальнейшем понимает, что нужно генерировать в нужной эстетике.
Использование BLIP для генерации подписей
Для автоматического формирования описаний использовалась модель BLIP (Salesforce/blip-image-captioning). Она анализирует каждое изображение и создаёт текстовое описание того, что видит — это помогает DreamBooth точнее понять содержание картины.После генерации подписей память GPU очищается — иначе не хватит места для обучения Stable Diffusion XL.
Настройка LoRA
Вместо полного дообучения модели (что требует огромных ресурсов) использовалась технология LoRA (Low-Rank Adaptation) — она добавляет небольшие обучаемые матрицы в слои внимания UNet:
Параметры обучения
Ключевые параметры:resolution=512 — разрешение обучения
learning_rate=1e-4 — скорость обучения
max_train_steps=500 — количество шагов
gradient_checkpointing — экономия памяти GPU
use_8bit_adam — 8-битный оптимизатор
Обученная модель
В процессе обучения удалось:Научить модель воспроизводить художественный стиль исходных изображений — характер монохромной гаммы, текучесть линий, красивые мазки.Генерировать изображения, сохраняющие цветовую палитру (оттенки туши), композиционные приёмы и узнаваемые элементы (горы, бамбук, каллиграфические штрихи).Интегрировать обученный стиль с произвольными промптами — модель создаёт новые изображения в заданной эстетике на любые сюжеты.
Итоговая серия иллюстраций
Заключение
На основе сгенерированной серии можно сделать следующие выводыМодели удалось передать общее настроение и стилистические особенности исходной серии работ, а именно: имитацию чернильных пятен — размытых, полупрозрачных участков туши,
общую цветовую палитру — градации от глубокого чёрного до светло-серого, характер линий — плавные, но уверенные мазки кистью.Несмотря на эти недочёты, нейросети удалось сгенерировать консистентную, цельную серию работ, стилистически согласованных между собой и с референсами.
