Нейросеть научили рисовать портреты с помощью слов

Индийский программист Анимеш Карневар написал программу, создающую портрет человека с помощью текстового описания его внешности. Об этом автор написал в своем блоге на Medium, а исходный код он опубликовал на GitHub.

Карневар использовал в качестве образцов для создания программы два алгоритма. Первый из них — StackGAN — использовался для создания фотореалистичных изображений по простому текстовому описанию. Второй — ProGAN — для создания высококачественных изображений людей.

От StackGAN программист использовал кодировку текстового описания, данного простым языком, в вектор, который в дальнейшем передается нейросети, синтезирующей изображение. В качестве этого элемента разработчик использовал нейросеть ProGAN. Благодаря уточняющим, новым словам (например, губы такие-то, уши такие-то, нос такой-то) программа постепенно улучшает разрешение изображения, добавляя новые «штрихи» к портрету.

Для обучения автор использовал 400 фотографий и столько же данных им текстовых описаний. Процесс тренировки нейросети можно увидеть на видео

Ранее нейросеть, разработанная специалистами «Яндекс», и писатель Сергей Лукьяненко совместно сочинили рассказ в стиле Гоголя и его цикла «Вечера на хуторе близ Диканьки».