студия дизайна

Ученые из университета Карнеги-Меллон создали и испытали революционную технологию сравнения изображений, которая заметно опережает другие разработки схожего назначения вроде поиска Google по изображениям и Microsoft Photosynth. Прорыв в сопоставлении изображений обусловлен гениальным решением авторов работы – вместо сопоставления по схожим деталям они оценивают различия между изображениями. Если набор отличий у пары некоторых изображений от случайно подобранного множества заведомо других картинок совпадает, то система считает такие изображения схожими - именно такой подход оказался крайне эффективным по сравнению с прежними решениями.

Новый принцип сравнения картинок для поиска разных изображений одного объекта разработала команда исследователей: Абинав Шривастава (Abhinav Shrivastava), Томаш Малисевич (Tomasz Malisiewicz), Абхинав Гупта (Abhinav Gupta) и Алексей Эфрос (Alexei A. Efros) — руководитель проекта. Свою работу под названием «Data-driven visual similarity for cross-domain image matching» (Цифровой анализ визуальной схожести для сравнения разнородных изображений) они представили на конференции SIGGRAPH Asia.

Новизна работы ученых из университета Карнеги-Меллон (США) состоит в том, что они нашли любопытный способ сопоставления изображений. Вместо того, чтобы оценивать их попарно в попытках определить степень их схожести, они поставили обратную задачу. Новый способ заключается в том, чтобы сравнить целевое изображение с массой случайно выбранных других картинок. При этом сравнении составляется сводная карта отличий объекта от попарно предлагаемых «соперников». Если она совпадает с аналогичным набором отличительных признаков для другого изображения, то они считаются визуально близкими. Изящное и эффективное решение.

Результаты измененной постановки задачи говорят сами за себя. Новая система может не только подбирать в Интернете с похожими фрагментами и контурами, как поиск картинок Google, не только находить фотографии одного и того же объекта с разных точек, как технология Microsoft Photosynth, но и составлять подборку схожих изображений, сделанных в самых разных техниках. Например, можно найти изображения целевого объекта, сделанные в виде карандашных набросков и гравюр, с помощью живописи и акварели. Кроме того, можно искать снимки природных объектов, сделанные в любое время года.

Новый принцип сопоставления изображений стал ближе к человеческому: определяется не то, чем картина похожа на другие, а то, что отличает ее от любых других картин в мире. В частности, система «узнает» собор Св. Петра в Риме на зимних и летних снимках, нарисованный шариковой ручкой или маслом. Также эффективно она находит изображения велосипедов или автомобилей по схематичному эскизу, сделанному от руки.

Само собой, у новой технологии есть пока очень серьезные ограничения. Во-первых, для нее требуется огромный объем вычислительных ресурсов: если поиск Google выдает результаты за полсекунды, то новой системе понадобится гораздо больше времени для подборки других картинок и сравнения по зонам. Тем не менее, новый подход дает гораздо более точные и адекватные результаты, а время обработки запросов с каждым разом сокращается за счет накопления «опыта».

Как стало известно, компания Google уже заинтересовалась разработкой ученых из Карнеги-Меллон, предоставив дополнительное финансирование для продолжения исследований. Тем не менее, пока неизвестно, какую сумму вкладывает Google и насколько глубоким будет участие компании в работе ученых.

По материалам сайта TechCrunch.