Заяц-путешественник

В этом проекте я обучила генеративную модель Stable Diffusion XL на изображениях розового вязаного зайца, чтобы создавать новые фотографии с тем же персонажем в разных уголках мира.Лондон, Париж, Амстердам и другие города становятся декорациями его воображаемого путешествия. Моя задача — проверить, сможет ли нейросеть сохранить узнаваемость игрушки, её яркий цвет и фактуру вязки, меняя окружение, композицию и сюжет.

Для проекта я использовала Stable Diffusion XL и LoRA — метод дообучения нейросети на собственных изображениях.Я собрала фотографии связанного мной розового зайца и использовала их для обучения модели. Главная задача — научить нейросеть воспроизводить именно моего персонажа, сохраняя его яркий цвет, вязаную фактуру, форму ушей и узнаваемые черты.После обучения я начала генерировать новые сцены, меняя города, окружение и композицию. Так обычная игрушка стала героем цифрового фотодневника путешествий.

Для обучения я использовала Stable Diffusion XL и метод LoRA. Он позволяет дообучить модель на конкретном персонаже, не обучая всю нейросеть с нуля.В качестве основы я взяла фотографии собственного вязаного зайца. Моя задача заключалась в том, чтобы научить модель узнавать его характерные черты и воспроизводить их в новых сценах.

На первом этапе я создала папку coralbunny и загрузила в неё фотографии розового зайца. Эти изображения стали исходным материалом для обучения модели и помогли сохранить особенности игрушки при генерации новых сцен.

Для анализа фотографий я использовала BLIP — модель, которая автоматически описывает содержимое изображений. Полученные описания помогают подготовить данные для обучения.