MIT разработал FLEX, помогающую роботам понимать скрытый смысл команд

Исследователи Массачусетского технологического института совместно с коллегами из Нью-Йоркского университета создали платформу FLEX. Она позволяет роботам учитывать не только прямые указания человека, но и дополнительные требования, которые подразумеваются в разговоре. Результаты разработки планируют представить на ежегодной конференции по машинному обучению. Об этом сообщает ProGorodNSK.ru.

В основе FLEX лежит большая языковая модель. Она анализирует формулировки пользователя и помогает определить, какие правила безопасности стоят за конкретной просьбой.

Например, если человек просит принести кофе и предупреждает, чтобы робот не пролил напиток на ноутбук, система учитывает более широкую опасность для электроники. Поэтому робот может изменить маршрут и обойти не только ноутбук, но и находящийся рядом телефон, хотя тот не упоминался в команде.

Научный сотрудник MIT Натан Денглер объясняет, что люди обычно автоматически понимают подтекст фраз, тогда как роботам необходимо специально передавать такие знания. FLEX помогает машинам распознавать смысл, который человек вкладывает в свои слова.

Работа платформы состоит из трёх этапов. Сначала робот определяет объекты, имеющие значение для выполнения задачи. Затем GPT-4 обобщает информацию и выводит общее правило — например, необходимость обходить все хрупкие предметы. На заключительном этапе система компьютерного зрения проверяет обстановку и исключает объекты, которых уже нет в поле зрения. Весь процесс занимает около пяти секунд.

Возможности FLEX проверили в симуляциях с несколькими сценариями: подачей кофе, перемещением свечи и переносом шара для боулинга. Робот должен был соблюдать указания не приближаться к стопке бумаги или не ронять предметы на кружку. При этом система самостоятельно распространяла ограничения на другие опасные объекты — электронику, легковоспламеняющиеся и хрупкие вещи.

Руководитель проекта Андреа Бобу отметила, что предпочтения и требования людей различаются, однако FLEX способна уловить необходимые ограничения уже после одной-двух фраз. Часть разработки профинансировали консорциум MIT Generative AI Impact Consortium и программа MIT Schwarzman College of Computing, сообщает "Самара Онлайн 24".