Os resultados foram publicados na revista científica Nature Neuroscience e divulgados pelo Instituto Nacional de Saúde dos Estados Unidos (NIH). Em testes de conversação, o sistema alcançou pelo menos 75% de precisão na decodificação da fala e 85% na identificação dos gestos.
Avatar virtual reproduz fala e movimentos a partir de sinais cerebrais
Tecnologia interpreta sinais diretamente do cérebro
O sistema utiliza uma interface cérebro-computador, tecnologia que capta a atividade neural e a converte em comandos para equipamentos externos. Nesse experimento, pequenos conjuntos de eletrodos foram implantados cirurgicamente para registrar os sinais associados à fala e aos movimentos.
Os dados são processados por modelos computacionais que identificam os padrões relacionados às ações pretendidas pelos participantes. Em seguida, os comandos controlam um avatar personalizado, com representação da cabeça, do rosto e do corpo.
A proposta vai além de transformar a tentativa de falar em palavras exibidas na tela ou reproduzidas por uma voz sintetizada. O sistema também procura reproduzir elementos da comunicação não verbal, como acenar com a mão ou fazer um sinal de positivo com o polegar.
Esses movimentos ajudam a transmitir intenções e reações durante uma conversa. Por isso, a possibilidade de combinar fala e gestos representa um passo importante para tornar a comunicação digital mais próxima das interações cotidianas.
Testes mostraram precisão na fala e nos movimentos
A pesquisa envolveu três pessoas com paralisia grave do trato vocal. Duas também apresentavam comprometimento grave dos movimentos dos membros, enquanto a terceira tinha limitações moderadas nessa área.
Os pesquisadores avaliaram a capacidade do sistema de reconhecer diferentes movimentos e de combinar sinais relacionados à fala e aos gestos. Dois participantes também utilizaram o avatar em tarefas que envolviam imitar ações específicas e responder a estímulos de conversação.
Nessas tarefas, a precisão da decodificação chegou a pelo menos 75% para a fala e 85% para os gestos. Em testes nos quais os participantes tentavam reproduzir fala e movimentos simultaneamente, o desempenho para a combinação das duas modalidades ficou entre 65% e 70%.
Os números variaram conforme a tarefa realizada. Ainda assim, os resultados indicam que os sinais cerebrais podem fornecer informações para diferentes formas de expressão ao mesmo tempo, em vez de exigir que a pessoa se comunique exclusivamente por palavras ou movimentos isolados.
Gestos podem tornar a conversa mais natural
Na comunicação cotidiana, as palavras raramente aparecem sozinhas. Movimentos das mãos, expressões faciais e outros sinais corporais ajudam a demonstrar emoções, enfatizar ideias e complementar o que está sendo dito.
Quando uma condição neurológica compromete a fala e os movimentos, parte dessas possibilidades também pode ser perdida. A proposta dos pesquisadores é recuperar alguns desses recursos por meio de uma representação virtual que responda às intenções identificadas pela interface cerebral.
Outro achado relevante foi o efeito do treinamento do sistema. Os modelos apresentaram melhor desempenho quando foram treinados com informações tanto de tentativas de fala e gestos realizadas separadamente quanto de ações executadas simultaneamente.
Isso sugere que ensinar a tecnologia a reconhecer diferentes formas de expressão em conjunto pode ajudar a reduzir erros quando elas ocorrem ao mesmo tempo, como acontece em uma conversa natural.
Apesar dos resultados, a tecnologia permanece em fase experimental. O sistema também depende de eletrodos implantados cirurgicamente, o que envolve procedimentos médicos e limita sua aplicação neste momento.
A equipe pretende avançar no desenvolvimento de uma versão totalmente implantável e sem fios, que possa oferecer maior praticidade.
]]>