Обучение генеративной нейросети под стиль Цугухару Фудзиты
Описание идеи и исходные изображения
Кошка у стола, 1927
Проект направлен на обучение нейросети, обладающей способностью понимать и воспроизводить визуальные стили, характерные для различных художников и иллюстраторов.
Нейросеть обучается на предоставленной обширной базе данных картин знаменитого художника, изучает композицию его картин, их цветовую палитру, технику мазка, особенности свето-тени и другие ключевые элементы, формирующие уникальный художественный стиль.
Лежащая обнаженная, 1922
Для проекта я выбрала художника японского происхождения Цугухару Фудзиту.
Цугухару Фудзита, японский художник, ставший известным в начале XX века, является ярким представителем синтеза восточной и западной художественных традиций. Его творчество отличается уникальным стилем, в котором гармонично сочетаются элементы японской живописи и европейского модернизма.
Одной из характерных особенностей работ Фудзиты является использование мягкой, скупой цветовой палитры, с преобладанием жемчужных оттенков белого и глубоких темных тонов. Кажется, будто краска была разбавлена водой или изображения выцвели, что создает неуловимую таинственную атмосферу нежности, безмолвия и покоя. Контраст света и тени делает персонажей и объекты более выразительными.
Композиция в работах Фудзиты обычно строится на асимметрии, что является традиционным для японского искусства. Он искусно задействует пустое пространство, чтобы управлять вниманием зрителя, взгляд которого естественно перемещается по всей картине, открывая все новые детали.
Художник особенно часто изображал женщин, кошек, детей, интерьеры, а также нередко создавал автопортреты.
Женщина с котом, 1926
Девушка, 1939
В кафе, 1949
Сон (Посвящено Лафонтену), 1949
Мне стало любопытно узнать, насколько эффективно обученная нейросеть способна распознать, интерпретировать и воспроизвести характерные особенности стиля художника, а также традиционные для него мотивы.
Особенно важно было сохранить присущий работам Фудзиты синтез японской изобразительной традиции и западноевропейского реализма, а также характерную им нежность, тонкость и мечтательность.
Мне захотелось не только обучить нейросеть копированию художественного стиля и сюжетов изображений, но и поэкспериментировать с этим аспектом творчества Фудзиты, чтобы поразмышлять, как бы художник написал работы на нестандартные для себя темы. Таким образом, нейросеть становится не только средством для воссоздания определенного стиля, но и инструментом, позволяющим ненадолго «воскресить» творца и вообразить, что могло бы стать интересом его творчества в нетипичных условиях.
Серия полученных изображений
промпт: 1 — a painting of flying stork in the sky, 2 — a painting of two cats on a white background
Итоговая серия изображений представляет портреты персонажей, созданные нейронной сетью под влиянием стиля Цугухару Фудзиты.
Художественный стиль и техника живописи соответствуют манере письма Фудзиты, некоторые работы (например, коты, девушки) оказались особенно удачными и схожими с «оригиналом». Тем не менее, в некоторых изображениях отсутствует важное для Фудзиты свободное пространство (это понятие является ключевым элементом для восточного традиционного искусства, художники применяют его в живописи и каллиграфии), а цвета в нескольких случаях получились более темными и желтоватыми. В нескольких работах пропала жемчужность и прозрачность, присущие Цугухару Фудзите, а также исчез контраст перламутровых цветов и густых темных оттенков.
промпт: 1 — a painting of two girls in a room, 2 — a painting of wolf with a cub
промпт: 1 — a painting of dog is reading a book, 2 — a painting of skinwalker
На мой взгляд, получилось воссоздать «восточную» составляющую творчества Фудзиты за счет стиля изображения персонажей и размытости «красок», а «западные» элементы стиля остались благодаря сюжетам и композиции.
Я считаю, что в целом, несмотря на некоторые неточности или умышленно выбранные нетипичные сюжеты, удалось сохранить особенности творчества Цугухару Фудзиты, а определенные изображения (с традиционными мотивами) можно действительно спутать с работами творца.
промпт: 1 — a painting of a woman on the beach, 2 — a painting of a woman in a dress
промпт: 1 — a painting of a cat laying on a bed, 2 — a painting of cheetah runs
Я писала промпты, намеренно придумывая не только традиционные сюжеты для Фудзиты. Некоторые картины по наполнению получились очень схожими с оригиналом, а в некоторых, за счет нестандартных тематик, несмотря на сохраненную стилистику, совершенно очевидно угадывается участие нейросети.
Как я отметила выше, мне кажется, что такой подход уникален тем, что позволяет «представить», как потенциально могли бы выглядеть работы художника на разнообразные темы, нехарактерные для того времени, локации или отличающиеся от его философии, что может быть полезно для других художников и иллюстраторов, а также исследователей творчества мастера.
промпт: 1 — a painting of football, 2 — a painting of intelligent dinosaurs
промпт: a painting of a knight who fights the dragon
Ноутбук с кодом для обучения и описание процесса обучения
Я отобрала картины художника, в которых явно заметны характерные для его стиля черты, перенесла их в Google Colab и подключила необходимые библиотеки.
Для обучения нейросети я применяла метод Fine-tuning Stable Diffusion XL с задействованием DreamBooth и LoRA, используя платформу Kaggle для его реализации. Этот метод позволил адаптировать предварительно обученную модель SDXL к стилю выбранного мной художника Цугухару Фудзиты с помощью предоставленного набора отобранных изображений. DreamBooth использовался для интеграции концептуальной составляющей стиля художника в модель, а LoRA — для эффективного обучения без необходимости обновления всех параметров SDXL.
Я использовала 1000 шагов для обучения, не прибегая к другим нейросетям для улучшения качества изображений, так как полученный результат меня удовлетворил.
Описание применения генеративной модели
Искусственный интеллект применялся с целью обучения существующей стилистике художника. Модель базирована на stable-diffusion-xl-base-1.0» (ссылка: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0)
В проекте использовалась текстовая нейросеть для генерации промптов и написания текста о творчестве художника (ссылка: https://chatgpt.com/)
