Обучение генеративной нейросети под стиль Бориса Гроха
Концепция
Борис Грох — небезызвестный художник, прославившийся своими темными и пугающими сюжетами.
Почти постоянными «гостями» на его картинах становятся нереальные существа пугающих размеров, порой взаимодействующие с людьми, а порой и просто вписывающиеся в привычный нам окружающий мир так, словно это обыденность.
Применение генеративной модели
Настройка модели состояла из нескольких этапов, среди которых сбор и обработка датасета картин выбранного художника, а именно Бориса Гроха, обучение модели с использованием Fine-tuning Stable Diffusion XL и применение методов DreamBooth и LoRA. LoRA — обеспечил эффективное обучение модели с использованием небольших вычислительных затрат, а DreamBooth, в свою очередь, отвечал за внедрение концепции стиля. При выполнении работы была задействована среда Kaggle, благодаря чему появилась возможность использовать облачные вычисления.
Для обучения модели потребовалось 1000 шагов, без промежуточных.
Модель базирована на stable-diffusion-xl-base-1.0»
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
Сгенерированные изображения
На сгенерированных нейросетью изображениях сохранилась присущая Борису Гроху живописность: местами можно разглядеть отдельные характерные мазки. Сохранились и общие мотивы работ с большими существами, а помимо них и общая стилистика оформления освещения и цветовых палитр.
Код
