Обучение генеративной нейросети на работах Клод Моне
Описание
Проект направлен на обучение нейросети, обладающей способностью понимать и воспроизводить визуальные стили, характерные для признанных мастеров живописи. Художником, чьи работы стали основой данного проекта, является Клод Моне.
Для обучения модели был собран датасет из 150 высококачественных репродукций работ Моне разных периодов творчества. Особое внимание уделялось включению разнообразных сюжетов — водные пейзажи, сады, городские сцены, пейзажи в разное время суток и года — для максимально полного охвата художественной манеры мастера.
Процесс обучения нейросети для генерации изображений:
Выбор архитектуры нейросети: Для проекта была выбрана архитектура Stable Diffusion с дополнительной тонкой настройкой (fine-tuning) для лучшего воспроизведения специфической техники Моне. Данная модель была предпочтительнее классической GAN из-за лучшей стабильности обучения и более высокого качества деталей в генерируемых изображениях.
Сбор и очистка базы изображений: Было отобрано 150 работ Клода Моне высокого разрешения (не менее 1024×1024 пикселей). Каждое изображение прошло процесс нормализации размеров, коррекции гаммы и цветового баланса для обеспечения единообразия входных данных.
Далее подготовка модели для генерации подписей к изображениям. Загружается модель BLIP от Hugging Face, которая умеет создавать подписи к изображениям.
Запуск обучения DreamBooth с LoRA на основе Stable Diffusion XL:
С помощью обученной модели генерируется изображение по текстовому описанию, стилизованное под Моне.
Результаты обучения и генерации
Для тестирования обученной модели был разработан набор промтов, включающих как классические сюжеты импрессионизма (морские пейзажи, сады, городские сцены), так и нетрадиционные объекты и сцены (современные городские пейзажи, техника, портреты знаменитостей) для проверки способности модели адаптировать стиль Моне к новым контекстам.
Промпт 1: Корабль в штормовом море в стиле Моне Промпт 2: Цветущий сад в стиле поздних работ Моне
Моне использовал короткие, отрывистые мазки, которые создают вибрирующую поверхность и особую динамику изображения. Нейросеть успешно воспроизводит эту характерную фактуру, особенно заметную в изображении водных поверхностей и неба. Особое внимание к свету и его изменениям: Одна из главных инноваций Моне — его исследование изменения света и цвета в зависимости от времени суток и атмосферных условий. Модель смогла воспроизвести характерные для Моне эффекты рассеянного света, включая отражения от водных поверхностей и игру света среди листвы.
Промт 1: Современный городской пейзаж Таймс-сквер в технике Моне Промт 2: Натюрморт с вином и виноградом в стиле Моне
Промт: Стеклянное современное здание в стиле Моне
Промт: Краб на пруду в стиле Моне
Промпт: Осенний пейзаж с желтыми деревьями в технике импрессионизма
Промпт: Крушение самолета в штормовом море в стиле Моне
Промпт: Цветущий сад в стиле Клода Моне
Анализ результатов
Как мне кажется, нейросети удалось приблизиться к уникальному стилю Моне и передать его. В сгенерированных изображениях можно уловить характерные признаки картин одного из главных представителей импрессионизма
Успешно переданные такие аспекты как: Особая техника работы с водными поверхностями и их отражениями, характерная для Моне обработка неба с тонкими градиентами цвета, узнаваемая импрессионистическая фактура мазков, также сохранена специфическая цветовая гамма с акцентом на холодных синих и теплых желто-оранжевых тонах, способность создавать эффект атмосферной дымки и тумана.
Вывод
Наш эксперимент с обучением модели стилю Клода Моне демонстрирует, что генеративные технологии способны не только имитировать поверхностные черты стиля художника, но и в значительной степени воспроизводить глубинные принципы его живописной техники. Это позволяет создавать новые художественные произведения, которые, не будучи копиями оригиналов, несут в себе узнаваемые черты мастера и продолжают эстетическую традицию импрессионизма.
Применение генеративной модели
Для исправления и/или описания некоторых нюансов в механике работы кода был использован DeepSeek.
Для тонкой настройки параметров обучения и оптимизации гиперпараметров использовались рекомендации из документации Stable Diffusion.
