Робот выполняет сложные бытовые задачи по команде человека (видео)

Робот может обобщать предоставленные ему данные, мгновенно анализировать запрос и действовать по ситуации.

Google DeepMind выпустила новую модель Gemini Robotics, объединяющую языковой ИИ с робототехникой. С ней роботы стали более ловкими и приобрели способность работать с командами на естественном языке. 

С новой моделью робот может обобщать предоставленные ему данные, мгновенно анализировать запрос и действовать по ситуации. 

Google DeepMind также объявила о партнерстве с Agility Robotics и Boston Dynamics, над Gemini Robotics-ER, моделью языка зрения, ориентированной на пространственное мышление.

Действия, которые могут показаться простыми для людей, например, завязывание шнурков или раскладывание продуктов достаточно сложны для роботов. Однако подключение Gemini к этим процессам, значительно облегчает роботам понимание и выполнение сложных инструкций без дополнительного обучения. 

Например, в одной из демонстраций исследователь поставил на стол несколько небольших блюд, виноград и бананы. Две руки робота зависли над ним, ожидая инструкций. Когда роботу было сказано «положить бананы в прозрачный контейнер», руки смогли идентифицировать как бананы, так и прозрачное блюдо на столе и положить одно в другое. Причем они безошибочно воспроизводили эту операцию даже, когда контейнер перемещался по столу.