Органотехника
Идея
Исследовать, как технологии и природа перестают быть противоположностями. Проект показывает симбиоз живого и созданного человеком — когда техника не уничтожает природу, а становится её продолжением. Металл покрывается мхом, микросхемы прорастают корнями, машины выглядят как новые формы жизни. Модель обучается на изображениях, где сочетаются фактуры растительности и промышленных материалов. В результате она создаёт визуальный язык органотехники — предметов, в которых искусственное и природное объединены в единую экосистему.
Реализация
Сначала я создала папку cher, в которой будут храниться изображения. Потом я подключила модуль files из Google Colab, чтобы можно было загрузить картинки с компьютера. Далее я подключила библиотеку Pillow и написала функцию image_grid, которая собирает несколько изображений в одну сетку. При этом картинки автоматически уменьшаются до размера 256×256 пикселей, чтобы всё выглядело аккуратно. После этого я использовала модуль glob, чтобы найти все файлы с расширением .jpg в папке cher.
Исходники
После этого я подключила необходимые библиотеки — requests, transformers и torch. Далее я загрузила модель и процессор BLIP от Salesforce, которые предназначены для автоматической генерации подписей к изображениям. После этого создала функцию caption_images, которая принимает изображение, преобразует его в нужный формат, передаёт в модель и возвращает сгенерированную подпись. Затем я подключила glob и PIL, чтобы открыть все изображения из папки cher.
После этого импортировала json и задала префикс для описаний (caption_prefix), например, «photo in my style». Далее для каждого изображения создала подпись с помощью функции caption_images, добавила к ней заданный префикс и сохранила результат в формате JSON — с именем файла и соответствующим текстовым описанием.
Запустила bash-скрипт, который с помощью accelerate launch тренирует модель. В параметрах я указала базовую модель stabilityai/stable-diffusion-xl-base-1.0, VAE madebyollin/sdxl-vae-fp16-fix, набор данных «cher» и выходную папку «cherakshin_style_LoRA». Главная цель — научить нейросеть создавать фотоколлажи в стиле CHERKASHIN, поэтому использовался промпт «photo collage in CHERKASHIN style». Модель обучалась с разрешением 512×512, размером батча 2 и 500 шагами обучения.
Дальше я подключила уже обученную модель, чтобы можно было генерировать изображения. Импортировала нужные библиотеки — torch и diffusers. Потом я загрузила VAE-модель madebyollin/sdxl-vae-fp16-fix, которая помогает точнее обрабатывать изображения, сохраняя их качество.
Ссылка на код
Изображения
Код и промпт для 1 фото
Старый компьютер
Код и промпт для 2 фото
Печатная плата
Код и промпт для 3 фото
Роботизированная рука
Код и промпт для 4 фото
Дрон
Изображения представляют из себя альтернативную реальность, в которой исчезли люди. На планете только человеческие изобретения и природа
Код и промпт для 5 фото
Блок двигателя
Код и промпт для 6 фото
Микрочип
Код и промпт к 7 фото
Заброшенная машина
Код и промпт для 8 фото
Коралловая органическая структура
Код и промпт для 9 фото
Механическое насекомое
Природа адаптируется к искусственному миру, поглощая его. Технологии обретают биологические черты. Искусственное становится живым.
