Towards Interactive Intelligent Spaces using 3D Skeleton-based Action and Gesture Recognition
Nome: LUIZ CARLOS COSMI FILHO
Data de publicação: 24/06/2026
Banca:
Nome |
Papel |
|---|---|
| BRUNO LEGORA SOUZA DA SILVA | Examinador Interno |
| MARIANA RAMPINELLI FERNANDES | Examinador Externo |
| RAQUEL FRIZERA VASSALLO | Presidente |
Resumo: O reconhecimento de ações e gestos é essencial para a interação humano-máquina (Human-Machine Interaction, HMI) e a interação humano-robô (Human-Robot Interaction, HRI) em Espaços Inteligentes, os quais são ambientes físicos equipados com sensores capazes de coletar dados, analisá-los e responder aos comandos dos usuários. Gestos podem ser caracterizados como movimentos curtos e intencionais que envolvem um conjunto limitado de partes do corpo. Por outro lado, ações envolvem movimentos coordenados de múltiplas partes do corpo ao longo de intervalos de tempo mais longos. Dentre as diferentes modalidades de dados que podem ser utilizadas para a compreensão de ações e gestos, representações baseadas em esqueletos têm ganhado bastante relevância nos últimos anos, nas quais uma sequência de esqueletos modela o corpo humano como um conjunto de juntas (pontos), capturando a configuração espacial do corpo humano e sua evolução temporal. Nesse contexto, este trabalho investiga o reconhecimento de ações e gestos em sequências de esqueletos 3D dentro de um Espaço Inteligente. Para isso, um banco de dados para reconhecimento de gestos, focado em cenários de interação humano-robô, foi desenvolvido, denominado HGI-IS. A aquisição foi realizada em um ambiente com múltiplas câmeras RGB calibradas, possibilitando a captura de múltiplas transmissões de câmeras sincronizadas, bem como a reconstrução e o rastreamento 3D de
esqueletos humanos. Em um primeiro momento, foi realizado o reconhecimento de ações e gestos em sequências de esqueletos 3D utilizando o modelo Swin Transformer adaptado para essa modalidade de dados. Para lidar com a disponibilidade limitada de dados rotulados, uma estratégia de aprendizado autossupervisionado inspirada em modelagem mascarada foi aplicada como pré-treinamento, visando melhorar os resultados após o ajuste fino. A metodologia proposta foi avaliada na tarefa de reconhecimento de ações utilizando os bancos de dados NTU RGB+D e NTU RGB+D 120, nos quais foram obtidos resultados competitivos com o estado da arte, assim como na tarefa de reconhecimento de gestos utilizando o banco de dados HGI-IS. A seguir, foi proposta uma abordagem que possibilita que modelos de reconhecimento de ações e gestos treinados utilizando a sequência temporal completa como dado de entrada operem em tempo real. Por meio de uma estratégia baseada em janelas deslizantes, a metodologia proposta suporta o reconhecimento imediato e a integração com sistemas de controle robóticos, sendo avaliada na tarefa de localização temporal e reconhecimento de gestos, utilizando o banco de dados HGI-IS e alcançando resultados consistentes. Em conjunto, essas contribuições corroboram o uso de representações baseadas em esqueletos para reconhecimento de ações e gestos em Espaços Inteligentes.
