Нейросети научились делать фото блюда, зная лишь его рецепт

Нейросети научились делать фото блюда, зная лишь его рецепт

Нейросети научились готовить фото по рецепту

Кулинария всегда считалась отчасти творческой профессией, где нет места полной автоматизации - в большой степени за счет того, что финальное блюдо может выглядеть по-разному при одних и тех же ингредиентах. Теперь поварам стоит напрячься: израильские нейросети научились формировать изображение блюда по текстовому рецепту, без пояснения визуальных признаков.

Ученые прибегают к нейросетям зачастую для выполнения различных задач, так или иначе связанных с большим количеством изображений. Обычно это необходимость классифицировать изображения или обработать их. Но есть и другой, довольно большой тип задач, когда нужно создать изображение с нуля, например, по текстовому описанию. При работе такого плана, технология выстраивает связи между словами и  конкретными визуальными характеристиками. Как правило, при обучении искусственный интеллект получает однозначное описание свойств, например “желтый банан на синей тарелке”. Но в реальных текстах описания не такие четкие - например, в рецептах не описывается, как на самом деле должно выглядеть готовое блюдо, а есть только список продуктов и метод их приготовления.

Нейросети научились воссоздавать внешний вид блюда по описанию

Нетанел Йозефиан с коллегами из университета Тель-Авива создали нейросеть, которая может генерировать изображение предмета, даже если описание внешнего вида отсутствует. Авторы основывались на наработках других ученых, что вылилось в датасет из 800 000 пар изображений и рецептов.

Готовый алгоритм обрабатывает самые обычные, не подготовленные рецепты, в которых есть список продуктов и ход готовки на много строчек. Сначала искусственный интеллект отдельно рассматривает рецепт и продукты, и переводит их в разные векторы. Затем их подвергают совместному вложению, в результате чего они сливаются в один вектор - и уже его программа превращает в изображение блюда.

Израильские ученые тренировали нейросеть на 52 000 пар рецептов и фото, а затем проверили эффективность работы еще на 24 000 пар. Работоспособность алгоритма оценивалась по двум характеристикам - количественной и качественной. В первом случае готовые изображения передают отдельному алгоритму для распознавания фото, и он относит их к какому-то классу. Чем меньше энтропия разноса по классам, тем качественнее нейросеть выполнила свою работу. В ходе данной проверки израильский проект набрал 4,55 балла по 5-бальной шкале.

Кроме того, соответствие фотографий рецептам проверяли сами люди - в этом случае нейросеть набрала 3,72 балла.

Интересно, что искусственный интеллект используется и для решения прочих кулинарных задач. К примеру, в 2017 году ученые научили нейросеть адаптировать рецепты под национальные кухни. Например, нейросеть может превратить обычную пасту в суши-пасту, а также определить, к какой кухне мира относится то или иное блюдо на изображении.

О чем говорят эти разработки? О том, что как минимум труд фуд-фотографов однажды может быть заменен - зачем проводить профессиональную съемку, если нейросеть может создать изображение за секунду? А где генерация изображения, там уже и непосредственно приготовление блюд по этапам, чтобы получить в итоге идеальный результат, на который не способен ни один человек. Остается дождаться, когда такие технологии будет внедрены повсеместно.