OpenRooms – новый набор данных и инструментов для лучшей дополненной и смешанной реальности

Программисты из Калифорнийского университета в Сан-Диего выпустили OpenRooms, новый набор данных с открытым исходным кодом и инструментами, которые помогут пользователям манипулировать объектами, материалами, освещением и другими свойствами в 3D-композициях внутри помещений для развития дополненной реальности и робототехники.

Набор данных OpenRooms и соответствующие обновления общедоступны на этом веб-сайте, а технические детали описаны в соответствующем документе, представленном на CVPR 2021 в мае.

«Это была огромная работа, в которой участвовали 11 аспирантов и магистрантов из моей группы, а также сотрудники из Калифорнийского университета в Сан-Диего и Adobe», - сказал Манмохан Чандракер, профессор факультета компьютерных наук и инженерии Калифорнийского университета в Сан-Диего. «Это важное событие, которое может значительно повлиять на научные исследования и промышленность в области компьютерного зрения, графики, робототехники и машинного обучения».

OpenRooms позволяет пользователям реалистично настраивать дизайн по своему вкусу. Если семья хочет визуализировать реконструкцию кухни, они могут изменить материалы столешницы, освещение и многое другое в комнате.

С OpenRooms люди могут фотографировать комнату, вставлять виртуальные объекты и манипулировать ими. Они могут посмотреть на кожаное кресло, затем сменить материал обивки и посмотреть, какой из них выглядит лучше. OpenRooms может даже показать, как это кресло может выглядеть днем при естественном освещении из окна или под лампой ночью.

Команда Чандракера использует вычислительные методы, чтобы понять визуальный мир. Особое внимание они уделяют тому, как формы, материалы и освещение взаимодействуют, образуя изображения. Это глубокое понимание необходимо для достижения фотореализма в смешанной реальности. Вставка объекта в сцену требует рассуждений о затенении от различных источников света, тенях, отбрасываемых другими объектами, или взаимных отражениях от окружающей сцены. Каркас также должен обрабатывать аналогичные дальние взаимодействия между удаленными частями сцены для изменения материалов или освещения в сложных внутренних сценах.

Чтобы достичь этого, группе нужно было найти творческие способы представления форм, материалов и освещения. Но получение этой информации может занять много времени, данных и дорого, особенно при работе со сложными внутренними сценами с мебелью и стенами, которые имеют разные формы и материалы и освещаются несколькими источниками света, такими как окна, потолочные светильники или лампы. «Нужно было бы измерить освещение и свойства материалов в каждой точке комнаты», - сказал Чандракер. «Это выполнимо, но просто не масштабируется».

OpenRooms использует синтетические данные для рендеринга этих изображений, что обеспечивает точный и недорогой способ предоставить точную геометрию, материалы и освещение. Эти данные можно использовать для обучения мощных глубоких нейронных сетей, которые оценивают эти свойства в реальных изображениях, что позволяет вставлять фотореалистичные объекты и редактировать материалы.

Источник