Роботизированная рука научилась варить и красиво подавать кофе, следуя голосовым командам и учитывая обстановку. Это стало возможно благодаря системе ELLMER, позволяющей роботам адаптироваться к новым задачам. Об исследовании сообщили в InScience со ссылкой на Nature Machine Intelligence.
В России роботы применяются в разных сферах — от промышленности до медицины, но в основном действуют по заданным алгоритмам и плохо справляются с неожиданными ситуациями.
Модель ELLMER на базе GPT-4 и поисковой системы помогает роботам строить планы, ориентируясь на визуальные и тактильные сигналы, и быстро их менять при необходимости. Разработка вдохновлена тем, как человек сочетает мышление, восприятие и движение.
Исследователи объединили ИИ и сенсорику, создав робота, способного работать даже в нестабильной среде. Kinova Gen3 — рука с семью суставами — обрабатывает голосовую команду и оценивает обстановку.
Во время испытаний робот нашёл чашку, открыл незнакомый ящик, отмерил и смешал кофе с водой. Если ситуация менялась, он корректировал действия.
Эта технология делает роботов более гибкими и приближает их поведение к человеческому. В будущем такие устройства могут стать привычными в быту.