Robôs Que Sentem: IA Combina Visão e Tato Para Manipular Objetos Com Precisão Humana

Este trabalho apresentou um sistema robótico aberto ao público, que combina visão e tato para manipulação mais precisa. Pesquisadores desenvolveram um sistema chamado TactileAloha que utilizando inteligência artificial une informações táteis e visuais para aprender a executar tarefas complexas. Por fim, eles demostraram experimentos que provaram que sentir a textura e os detalhes dos objetos permite ao robô realizar atividades que só com a visão seriam praticamente impossíveis.

Nos últimos anos, a robótica tem avançado muito, especialmente em sistemas que usam câmeras para "enxergar" o ambiente. Essa visão artificial é bastante útil porque fornece informações sobre o espaço e os objetos em volta do robô.

Porém, só ver não é suficiente para certas tarefas que exigem precisão no toque. 

Imagine, por exemplo, ter que distinguir qual lado de uma abraçadeira plástica é o liso e qual é o dentado, ou perceber a diferença entre as partes de um velcro ou até diferenciar tecidos pela textura. Nessas situações, os seres humanos usam o tato, e é justamente essa sensação de toque que está sendo trazida para os robôs.

O tato é essencial para nós, porque nos ajuda a reconhecer o que estamos segurando e a controlar a força da nossa interação com o ambiente. Sem ele, seria difícil pegar objetos delicados sem quebrá-los ou encaixar peças de forma correta. 

A ideia deste estudo foi desenvolver um sistema robótico que não dependa apenas da visão, mas que também seja capaz de sentir as texturas, os detalhes e até a orientação de um objeto.

O sistema desenvolvido recebeu o nome de TactileAloha. Ele funciona acoplando um sensor especial chamado GelSight na garra do robô. Esse sensor é capaz de captar informações detalhadas sobre a superfície dos objetos, como pequenas irregularidades, granulações ou a posição exata de partes específicas.

Dessa forma, o robô não apenas vê o objeto pela câmera, mas também sente sua textura, como nós fazemos ao passar os dedos em algo. 

Visão geral da plataforma TactileAloha. Além das atualizações no sensor tátil e na câmera, utilizam uma janela de monitoramento em tempo real que exibe observações da câmera e do sensor em tempo real durante a coleta do conjunto de dados para garantir a precisão do conjunto. A área de trabalho é coberta com uma almofada para proteger a garra do robô durante a manipulação. Quatro grampos C são fixados nos quatro cantos da plataforma para reduzir o impacto das vibrações causadas pelo movimento do robô. Um pedal facilita a coleta do conjunto de dados.

Para ensinar o robô a usar essas informações, os pesquisadores combinaram três tipos de dados:

- As imagens da câmera (a visão do robô).

- Os sinais de toque captados pelo sensor tátil.

- Os movimentos internos das juntas do robô (ou seja, a percepção de como ele mesmo se move).

Esses dados foram processados juntos por um sistema de inteligência artificial. Esse sistema aprendeu observando exemplos humanos (um método chamado aprendizado por imitação), em que o robô copia estratégias bem-sucedidas que foram demonstradas para ele. 

Além disso, os pesquisadores criaram uma forma de dar mais peso às primeiras ações em cada tarefa, já que elas são cruciais para definir se o robô vai conseguir completar a tarefa com sucesso.

Outro ponto importante foi a forma de controlar os movimentos do robô ao longo do tempo. Em vez de apenas planejar uma ação de cada vez, o sistema gera várias ações futuras em sequência. Para decidir o que fazer em cada momento, o robô compara essas previsões e escolhe o movimento mais confiável, garantindo precisão e suavidade.

Para testar o sistema, os cientistas escolheram duas tarefas bem práticas: inserir corretamente uma abraçadeira plástica e fechar um pedaço de velcro. Em ambas, sentir a textura e a orientação correta do material era fundamental.  

Robô realiza a tarefa da inserção da abraçadeira: Insira uma abraçadeira na cabeça da outra. Duas abraçadeiras são inicialmente colocadas na área de trabalho. Para facilitar a preensão pela pinça do robô, dois suportes são fabricados por impressão 3D para manter as abraçadeiras em pé. A orientação da abraçadeira próxima é fixa, enquanto a direção da abraçadeira distante é aleatória. Além disso, a cabeça da abraçadeira distante não pode ser observada porque está obstruída pela base do robô. Durante a manipulação, os braços do robô primeiro agarram as duas abraçadeiras (A.1, B.1). O sensor tátil então percebe a orientação, e os braços se alinham ajustando a postura para garantir que o lado dentado se alinhe com a lingueta da abraçadeira receptora (A.2, B.2). Finalmente, a abraçadeira esquerda é inserida na cabeça do zíper direita (A.3, B.3) com movimento preciso. Dependendo da orientação inicial da abraçadeira, diferentes sequências de manipulação foram geradas automaticamente, conforme mostrado em A e B, com base na detecção tátil.

Os resultados mostraram que o TactileAloha conseguiu realizar essas tarefas melhor do que sistemas que usam apenas visão. A taxa de sucesso aumentou, em média, 11% em relação ao que já existia de mais avançado até então.

Em resumo, este trabalho apresentou um sistema robótico aberto ao público, que combina visão e tato para manipulação mais precisa. Tambem, um método de inteligência artificial que une informações táteis e visuais para aprender a executar tarefas complexas. Por fim, experimentos que provaram que sentir a textura e os detalhes dos objetos permite ao robô realizar atividades que só com a visão seriam praticamente impossíveis. 

Isso mostra como o futuro da robótica está cada vez mais próximo de reproduzir nossas próprias capacidades humanas, unindo visão e tato para que as máquinas consigam interagir de forma mais natural e eficaz com o mundo ao redor.

LEIA MAIS:

TactileAloha: Learning Bimanual Manipulation With Tactile Sensing

Ningquan Gu; Kazuhiro Kosuge; and Mitsuhiro Hayashibe

IEEE Robotics and Automation Letters, vol. 10, no. 8, pp. 8348-8355, Aug. 2025, 

doi: 10.1109/LRA.2025.3585396.

Abstract: 

Tactile texture is vital for robotic manipulation but challenging for camera vision-based observation. To address this, we propose TactileAloha, an integrated tactile-vision robotic system built upon Aloha, with a tactile sensor mounted on the gripper to capture fine-grained texture information and support real-time visualization during teleoperation, facilitating efficient data collection and manipulation. Using data collected from our integrated system, we encode tactile signals with a pre-trained ResNet and fuse them with visual and proprioceptive features. The combined observations are processed by a transformer-based policy with action chunking to predict future actions. We use a weighted loss function during training to emphasize near-future actions, and employ an improved temporal aggregation scheme at deployment to enhance action precision. Experimentally, we introduce two bimanual tasks: zip tie insertion and Velcro fastening, both requiring tactile sensing to perceive the object texture and align two object orientations by two hands. Our proposed method adaptively changes the generated manipulation sequence itself based on tactile sensing in a systematic manner. Results show that our system, leveraging tactile information, can handle texture-related tasks that camera vision-based methods fail to address. Moreover, our method achieves an average relative improvement of approximately 11.0% compared to state-of-the-art method with tactile input, demonstrating its performance.