Original size 1148x1608

Обучение генеративной нейросети Stable Diffusion // Комикс

PROTECT STATUS: not protected

Идея проекта

В 2023 году для вступительных экзаменов в Высшую Школу Экономики я рисовала акварельный комикс о девочке, которая попала в чудо-страну на жар-птице. Этот проект по-своему мне близок и поэтому мне захотелось обучить нейросеть Stable Diffusion генерировать изображения в стиле моего комикса.

Главная цель проекта — посмотреть, как нейросеть обучится определенному стилю и реализует его в дальнейшем

Мой стиль

big
Original size 3508x4961

Обложка к моему комиксу

Original size 1395x1041

[1]

Original size 1395x1041

[2]

Original size 1395x1041

[3]

Original size 1395x1041

[4]

Original size 1395x1041

[5]

Основные отличительные черты моего стиля это:

  1. Неровная обводка
  2. Акварельные мазки
  3. Не прорисованные лица и глаза
  4. Карандашные линии
  5. Белые пятна
  6. Карикатурность персонажей
  7. Большой акцент на природе

Подготовка

Я подготовила изображения размером 512 × 512 пикселей для обучения нейросети

Original size 1280x902

Dataset

Список использованных в проекте инструментов:

— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Google Colab — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — Adobe Photoshop — обрезка изображений для подготовки датасета

Описание процесса обучения

Я загрузила все необходимые для работы библиотеки: Diffusers и DreamBooth.

Original size 1446x1080

Первым делом я загрузила свой датасет в папку valerok. Подключила графический процессор T4 в Google Colab для эффективной работы. Команда nvidia-smi проверяет настройки графического процессора. Далее я подключила все необходимые библиотеки

Original size 1232x489
Original size 1476x794

Вторым шагом нужно было загрузить изображения с компьютера в среду, в которой я буду работать, в Google Colab. Затем нужно было посмотреть, что изображения действительно загрузились. Чтобы проверить свой датасет, я вывожу несколько картинок на экран. Это говорит о том, что датасет загружен и можно продолжать дальше

Original size 1205x627

Библиотека BLIP используется для генерации описаний изображений на основе текстовых подсказок или контекста

Original size 1378x731

Для описания своего стиля я выбрала префикс промпта «watercolor illustration in VALEROK style»

После запуска ячейки этот код сформировал мне файл metadata.jsonl., который содержал название картинок и промптов к ним, состоящих из префикса моего стиля и описание картинки от библиотеки BLIP

Original size 1570x1109

После предварительной подготовки я запустила ячейку со скриптом с параметрами:

— dataset_name = «valerok» — output_dir="valerok_style_LoRA» -instance_prompt="watercolor illustration in VALEROK style» -resolution=512 -max_train_steps=500 -checkpointing_steps=250

Так было сокращено время, затраченное на тренировку нейросети, и мне пришлось ждать всего полчаса.

Original size 1280x747
Обучение генеративной нейросети Stable Diffusion // Комикс
Project created at 09.11.2025
We use cookies to improve the operation of the HSE website and to enhance its usability. More detailed information on the use of cookies can be fou...
Show more