Искусственный интеллект создает контроллер для управления роботом

Исследователи из Массачусетского технологического института и Стэнфордского университета разработали новый подход к машинному обучению, который может быть использован для более эффективного управления роботом, таким как беспилотник или автономное транспортное средство, в динамичных средах, где условия могут быстро меняться.

Этот метод может помочь автономному транспортному средству научиться компенсировать скользкие дорожные условия, чтобы избежать заноса, позволить роботу свободно летать буксировать различные объекты в пространстве или позволить дрону внимательно следить за лыжником, спускающимся с горы, несмотря на сильный ветер.

Подход исследователей включает определенную структуру из теории управления в процесс изучения модели таким образом, чтобы создать эффективный метод управления сложной динамикой, например, вызванной воздействием ветра на траекторию летательного аппарата. Один из способов думать об этой структуре - как о подсказке, которая может помочь определить, как управлять системой.

"В центре нашей работы находится изучение внутренней структуры динамики системы, которую можно использовать для разработки более эффективных стабилизирующих контроллеров", - говорит Навид Азизан, доцент кафедры машиностроения Массачусетского технологического института и Института данных, систем и общества (IDSS) имени Эстер и Гарольда Э. Эдгертон, а также сотрудник Лаборатории информационных систем и систем принятия решений (LIDS). "Совместно изучая динамику системы и эти уникальные структуры, ориентированные на управление, на основе данных, мы можем естественным образом создавать контроллеры, которые функционируют гораздо эффективнее в реальном мире".

Используя эту структуру в обучаемой модели, методика исследователей немедленно извлекает эффективный контроллер из модели, в отличие от других методов машинного обучения, которые требуют, чтобы контроллер был получен или изучен отдельно с дополнительными шагами. Благодаря такой структуре их подход также позволяет обучить эффективный контроллер, используя меньшее количество данных, чем другие подходы. Это могло бы помочь их системе управления, основанной на обучении, быстрее достигать более высокой производительности в быстро меняющихся условиях.

"Эта работа пытается найти баланс между определением структуры в вашей системе и простым изучением модели на основе данных", - говорит ведущий автор Спенсер М. Ричардс, аспирант Стэнфордского университета. "Наш подход вдохновлен тем, как робототехники используют физику для создания более простых моделей роботов. Физический анализ этих моделей часто дает полезную структуру для целей контроля — ту, которую вы могли бы пропустить, если бы просто попытались наивно подогнать модель к данным. Вместо этого мы пытаемся определить аналогичную полезную структуру из данных, которая указывает, как реализовать вашу логику управления ".

Изучение контроллера

Определение наилучшего способа управления роботом для выполнения поставленной задачи может оказаться сложной задачей, даже если исследователи знают, как смоделировать все, что связано с системой.

Например, контроллер - это логика, позволяющая беспилотнику двигаться по заданной траектории. Например, контроллер определяет, как регулировать силу вращения ротора, чтобы компенсировать влияние ветра, который может сбить его с устойчивого пути к цели.

Этот беспилотник представляет собой динамическую систему - физическую систему, которая изменяется во времени. В данном случае его положение и скорость изменяются в процессе полета через окружающую среду. Если такая система достаточно проста, инженеры могут разработать контроллер вручную.

Ручное моделирование системы по своей сути закладывает определенную структуру, основанную на физике системы. Например, если бы робот моделировался вручную с помощью дифференциальных уравнений, то они отражали бы взаимосвязь между скоростью, ускорением и силой. Ускорение - это скорость изменения скорости с течением времени, которая определяется массой робота и приложенными к нему силами.

Однако часто система оказывается слишком сложной, чтобы ее можно было точно смоделировать вручную. Аэродинамические эффекты, например, то, как закрученный ветер толкает летательный аппарат, как известно, трудно вывести вручную, объясняет Ричардс. Вместо этого исследователи измеряют положение, скорость и обороты ротора беспилотника во времени и с помощью машинного обучения подгоняют модель этой динамической системы под полученные данные.

Однако такие подходы, как правило, не позволяют изучить структуру, основанную на управлении. Эта структура полезна для определения того, как лучше задать скорость вращения ротора, чтобы направить движение дрона во времени.

После моделирования динамической системы многие существующие подходы также используют данные для обучения отдельного контроллера для этой системы.

"Другие подходы, которые пытаются изучить динамику и контроллер на основе данных как отдельные сущности, несколько оторваны в философском плане от того, как мы обычно делаем это для более простых систем. Наш подход больше напоминает ручной вывод моделей из физики и привязку их к управлению", - говорит Ричардс.

Идентификация структуры

Команда из Массачусетского технологического института и Стэнфорда разработала методику, которая использует машинное обучение для изучения динамической модели, но таким образом, чтобы модель имела некоторую предписанную структуру, полезную для управления системой.

Благодаря такой структуре они могут извлекать контроллер непосредственно из динамической модели, вместо того чтобы использовать данные для изучения совершенно отдельной модели для контроллера.

"Мы обнаружили, что помимо изучения динамики, также важно изучить структуру, ориентированную на управление, которая поддерживает эффективный дизайн контроллера. Наш подход к обучению разложению динамики на коэффициенты, зависящие от состояния, превзошел базовые показатели с точки зрения эффективности обработки данных и возможностей отслеживания, доказав свою эффективность в эффективном управлении траекторией системы ", - говорит Азизан.

Когда они тестировали этот подход, их контроллер точно следовал желаемым траекториям, опережая все базовые методы. Контроллер, извлеченный из их изученной модели, почти соответствовал производительности базового контроллера, который построен с использованием точной динамики системы.

Исследователи также обнаружили, что их метод является эффективным с точки зрения использования данных, т.е. достигает высокой производительности даже при небольшом количестве данных. Например, для эффективного моделирования высокодинамичного транспортного средства с роторным приводом достаточно всего 100 точек данных. В методах, использующих несколько обучаемых компонентов, производительность падала гораздо быстрее при уменьшении набора данных.

Такая эффективность могла бы сделать их технику особенно полезной в ситуациях, когда дрону или роботу необходимо быстро обучаться в быстро меняющихся условиях.

Кроме того, их подход является общим и может быть применен ко многим типам динамических систем, от роботизированных манипуляторов до свободно летящих космических аппаратов, работающих в условиях низкой гравитации.

По словам Ричардса, в будущем исследователи заинтересованы в разработке моделей, которые были бы более поддающимися физической интерпретации и которые могли бы идентифицировать очень специфическую информацию о динамической системе. Это могло бы привести к созданию более производительных контроллеров.

"Несмотря на свою повсеместность и важность, нелинейное управление с обратной связью остается искусством, что делает его особенно подходящим для методов, основанных на данных и обучении. Эта статья вносит значительный вклад в эту область, предлагая метод, который совместно изучает динамику системы, контроллер и структуру, ориентированную на управление", - говорит Николай Матни, доцент кафедры электротехники и системной инженерии Пенсильванского университета.