Блог Олега Сарычева

 Простая задача «захватить что-то» не так легка, как кажется. По крайней мере, не для робота. Инженеры-робототехники стремятся разработать роботов, которые могут захватить всё, что угодно. Сегодня большинство роботов выполняет «слепое схватывание», когда они каждый раз захватывают одинаковые предметы по многу раз. Это делают промышленные роботы. Однако если что-нибудь изменится, например, форма, структура или местоположение предмета, то робот не будет знать, как на это среагировать. И, скорее всего, попытка захвата предмета окажется неудачной.

Роботы еще далеки от способности захватывать любой предмет с первой попытки. Почему же задачи роботизированного захватывания настолько сложные? Когда люди пытаются схватить что-то, они используют комбинацию чувств: в основном зрение и осязание. Но до сих пор, большинство попыток решения задачи захватывания основывались на использовании только одного машинного зрения. Этот подход вряд ли даст результаты, которые полностью соответствуют способностям человека. Хотя зрение и важно для захватывания предмета (хотя бы для того, чтобы направить руку к нужному предмету), оно не может «сказать» всё, что нужно знать о захватывании.

Рассмотрим, как работает осязание человека в процессе захватывания предмета. Думаем о подъеме пакета молока. Слишком слабый захват – и пакет выпадает из руки. Слишком сильный захват –пакет будет деформирован или раздавлен. Можно даже использовать силу тяжести пакета, приложенную к кончикам пальцев по касательной как меру того, сколько молока внутри пакета. Поскольку у большинства роботизированных манипуляторов нет чувства осязания, их возможности захватывания предметов далеко позади человеческих возможностей.

Робототехники из Монреаля (Канада) долго отслеживали самые значительные события, происходящие в технологии роботизированного захватывания. Они убеждены, что акцент на машинное зрение вряд ли позволит достичь захватывания «всего, чего угодно». В дополнение к машинному зрению будущие роботизированные захваты требует обеспечить их чувством осязания.

Предыдущие исследования были сосредоточены на машинном зрении.

До сих пор большинство исследований в области роботизированного захватывания стремятся создать и усовершенствовать искусственный интеллект, управляющий визуальной обратной связью. Один из способов сделать это – создать огромную базу данных всевозможных предметов. Идея в том, чтобы использовать видеокамеру, чтобы обнаружить «целевой» объект и управлять перемещениями «пальцев» (органов захвата) манипулятора во время процесса захвата предмета. При выполнении захватывания, робот сравнивает визуальную информацию в реальном времени с «объёмными» (3D сканированными) изображениями, сохранёнными в базе данных. Как только робот находит соответствие, он может найти правильный алгоритм захватывания в текущей ситуации. Однако инженеры-робототехники вряд ли когда-либо смогут разработать визуальную базу данных для каждого предмета, с которым, возможно, встретится робот. Практически это нереально осуществить.

Другие исследователи для улучшения роботизированного схватывания обратились к методам «машинного обучения». Эти методы позволяют роботам учиться на опыте. Поэтому, в конечном счёте, роботы могут найти наилучший способ захватить что-то самостоятельно. Плюс, в отличие от методов, основанных на использовании базы данных, обучение робота требует минимальных предварительных знаний. Роботы не должны получать доступ к предварительно сделанной базе данных изображения. Им просто нужно много практики.

Недавно компания Google провела эксперимент по роботизированному захватыванию, в котором система машинного зрения была объединена с обучением Самый большой прорыв Google был в демонстрации того, как роботы могли обучать себя (при использовании нейронной сети, системы машинного зрения и большого количества данных от предыдущих 800 000 попыток захватывания) и улучшать свои навыки захватывания на основе того, чему они научились на прошлом опыте. Их результаты кажутся многообещающими: Так как «ответы» роботизированных захватов на различные предметы не были заранее запрограммированы, все улучшения появились в результате процесса обучения. Но есть пределы того, что машинное зрение может сказать роботам о захватывании. И, возможно, Google уже достиг этого предела.

Сосредоточение только на машинном зрении приводит к проблемам

Есть три главных причины, почему проблемы роботизированного захватывания, над которыми продолжают работать Google и другие компании трудно решить при помощи одного только машинного зрения.

Во-первых, у машинного зрения есть многочисленные технические ограничения. Даже современные системы машинного зрения могут испытать затруднения при восприятии объектов в определенных условиях таких как прозрачность предмета, сильное отражение от предмета и цвета низкого контраста, или когда объект слишком тонкий.

Во-вторых, есть много задач захватывания, которые включают сценарии, когда трудно видеть весь целевой предмет. Из-за этого машинное зрение часто не может представить роботу всю требуемую информацию. Если бы робот пытался взять деревянный блок со стола, простая система видения только отслеживала бы верхнюю часть блока. И робот бы понятия не имел, на что блок похож с другой стороны. В более сложной задаче, такой как «вытащить нужный предмет из мусорного ведра, в котором находятся много других предметов», целевой предмет может быть частично или полностью загорожен окружающими предметами.

И последнее (и наиболее важное): машинное зрение просто не может определить физические свойства предмета. В лучшем случае, оно может сообщить роботу о нужной конфигурации пальцев. Но в конце процесса захватывания роботу нужна осязательная информация (см. пример с пакетом молока).

Чем может помочь чувство осязания

Для людей осязание играет важную роль во время выполнения операций захватывания предметов. Для инвалидов, которые потеряли руки, один из самых больших источников расстройства – это неспособность ощутить то, что они пытаются захватить, используя протезы. Без осязания инвалиды должны полагаться только на зрение, но обычный человек может взять предмет, даже не смотря на него.

Робототехники знают, какую важную роль играют датчики осязания в процессе схватывания предметов. И за прошлые 30 лет было много попыток создания датчика осязания, который копирует человеческие рецепторы осязания. Однако сигналы, передаваемые рецепторами осязания, сложны и трёхмерны. Поэтому, оборудование манипулятора датчиками осязания часто не переводит к улучшению качества захватывания. Что необходимо, это – способ преобразования «сырых» данных низкого уровня в информацию высокого уровня, использование которой приведет к лучшему захватыванию и работе манипулятора. Или кратко – «осязательная разведка». Она могла бы дать роботам способность, используя прикосновение, предсказать успех захватывания, почувствовать «уменьшение» предмета (например, деформацию пакета с молоком) и распознавать предметы на основе их осязательных образах.

Канадские робототехники разрабатывают основу этой новой технологии «осязательной разведки». Одно из новых событий – машинный алгоритм изучения, который использует «изображения давления», чтобы предсказать успешные и неудавшиеся захватывания. Разработанная система – попытка приблизить роботы к способностям захватывания предметов человеческого уровня. Люди учатся понимать, приведет ли определённая конфигурация пальцев и величина приложенной силы к хорошему захвату при помощи осязания. Мы изменяем конфигурацию пальцев, пока мы не будем уверены, что наша попытка захватывания будет удачной. Прежде чем роботы научатся быстро регулировать конфигурацию своих «пальцев», они должны научиться лучше предсказывать результаты захватывания предметов. Исследователи достигли некоторых положительных результатов. Роботизированный манипулятор был оборудован несколькими «многомодальными» датчиками осязания. И была создана основанная на бесконтактном сенсорном игровом контроллере «Kinect» новая система машинного зрения, дополненная «осязательной разведкой». Данная система правильно предсказывает неудачу захватывания с вероятностью 83 %.

Решена была также проблема обнаружения выскальзывания предмета из «пальцев» манипулятора на основе его осязательных ощущений. Мы можем быстро понять, что предмет выскальзывает из пальцев потому, что в коже есть множество рецепторов, которые обнаруживают быстрые изменения силы давления и вибрацию. В процессе выскальзывания, предмет генерирует на поверхности пальцев колебания.

Для обнаружения выскальзывания, вместо двумерных «изображений давления» на предмет исследователи использовали «изображения вибрации», которые соответствуют выскальзыванию предмета. И это позволило обнаруживать выскальзывание предмета с точностью 92 %. Может казаться легким заставить робот обнаружить выскальзывание, так как выскальзывание – это просто ряд колебаний. Но как можно заставить робот изучать различие между колебаниями: собирается ли предмет выскользнуть из захвата робота, или колебания возникают потому, что робот тянет предмет по поверхности, например, стола? К тому же есть слабые колебания, возникающие, когда манипулятор робота просто перемещается. Это три различных события, которые производят похожие колебания, но требуют совсем разных реакций робота.

Различение этих колебаний робот начинает понимать при его машинном обучении. Когда дело доходит до машинного обучения, сама система определяет то, что важно для классификации колебаний и обнаружения выскальзывания, (или для предсказания результата захватывания), вместо того, чтобы полагаться на предположения исследователей о том, каков мог бы быть лучший индикатор. Ранее «характеристики высокого уровня» всегда определялись «вручную». Это значит, что исследователи сами выбирали характеристики, которые смогут помочь роботу различать разные виды событий: выскальзывание, или хорошее/плохое схватывание. Например, они могли бы решить, что изображение давления, которое показал робот при захватывании только верхней части предмета, соответствует плохому схватыванию. Но правильнее позволить роботу учиться самостоятельно, так как предположения исследователей не всегда соответствуют действительности.

Для машинного обучения очень полезен метод «разреженного кодирования». Это – алгоритм изучения характеристик без «надзора» программиста. Когда алгоритм работает, создаётся «разреженный» словарь, который используется, чтобы представлять новые данные. Во-первых, словарь создает себя сам, используя спектрограммы колебаний (или «сырые» изображения давления) как вход в алгоритм. Он состоит из представлений характеристик «высокого уровня». Когда появляются новые данные после последующих попыток захватывания, словарь используется, чтобы преобразовать новые исходные данные в представления тех данных, которые называются «разреженными векторами». Наконец, «разреженные векторы» группируются в различные причины колебаний (или успешные и неудавшиеся результаты схватывания). В настоящее время тестируются способы автоматического обновления алгоритма. Такие, чтобы каждая попытка захватывания помогла роботу «чувствовать себя лучше» при создании предсказаний. Идея состоит в том, что, в конечном счёте, робот сможет использовать эту информацию, чтобы приспособить своё поведение во время захватывания.

Будущее осязательной разведки

Это исследование – пример того, как «осязательная разведка» и машинное зрение могут сотрудничать, чтобы помочь роботам научиться захватывать разные предметы. Оно не должно наводить на мысль о том, что машинное зрение уже должно остаться на обочине робототехники. Пока что машинное зрение делает решающий вклад в решении задач роботизированного захватывания предметов. Однако теперь, когда машинное зрение достигло определенного уровня развития, лучше сосредоточиться на развитии новых аспектов «осязательной разведки», вместо того, чтобы продолжить утверждать, что достаточно развивать только машинное зрение.

Разработчики сравнили потенциалы исследования машинного зрения и «осязательной разведки» по правилу Парето «80-20». Когда робототехники справились с первыми 80 процентами машинного зрения, совершенствование последних 20 процентов машинного зрения трудоёмко и не будет существенно улучшать решение задач роботизированного захватывания. Другими словами – «идеальность» систем машинного зрения уже на этапе уменьшения, а они находятся на 3-м участке S-образной кривой. В отличие от систем машинного зрения, инженеры-робототехники работают все еще над первыми 80 процентами систем осязания роботов. Т.е., эти системы находятся на втором участке S-образной кривой, и у них есть ещё потенциал, чтобы сделать огромный вклад в способности роботов захватывать предметы.

Олег Сарычев