Questo robot ha imparato a sincronizzarsi con le labbra come gli umani guardando YouTube

Ricercatori della Columbia Engineering Hanno addestrato un robot dalle sembianze umane chiamato Emo a sincronizzare le parole e le canzoni studiando video online, dimostrando come ora le macchine possono apprendere comportamenti umani complessi semplicemente osservandoli.

Emo non è un corpo completamente umanoide, ma un volto robotico altamente realistico costruito per esplorare il modo in cui gli esseri umani comunicano. Il viso è ricoperto da una pelle di silicone ed è azionato da 26 motori facciali controllati in modo indipendente che muovono le labbra, il mento e le guance.

Questi motori consentono a Emo di creare forme della bocca dettagliate che coprono 24 consonanti e 16 vocali, fondamentali per parlare e cantare in modo naturale. L’obiettivo era ridurre l’effetto della valle misteriosa, in cui i robot sembrano quasi umani ma sono comunque infastiditi perché i loro movimenti facciali non corrispondono alle loro voci.

Come ha fatto l’emo a imparare a sincronizzarsi con le labbra come una persona?

Il processo di apprendimento si è svolto per fasi. Emo ha scoperto per la prima volta il proprio volto muovendo i motori mentre si guardava allo specchio. Ciò ha aiutato il sistema a comprendere come i comandi motori modificano le forme del viso.

I ricercatori hanno quindi introdotto una pipeline di apprendimento che collega il suono al movimento. Emo ha guardato ore di video su YouTube di persone che parlavano e cantavano, mentre un modello di intelligenza artificiale analizzava la relazione tra la voce e il movimento visibile delle labbra.

Invece di concentrarsi sul linguaggio o sul significato, il sistema esaminava i suoni grezzi del parlato. Un trasformatore del movimento facciale ha convertito i modelli appresi in comandi motori in tempo reale.

Questo approccio ha permesso a Emo di eseguire la sincronizzazione labiale non solo in inglese ma anche in lingue in cui non aveva alcuna formazione, tra cui francese, arabo e cinese. Lo stesso metodo funzionava per il canto, che era più difficile a causa delle vocali allungate e dei cambi di ritmo.

I ricercatori affermano che questo è importante perché i futuri robot dovranno comunicare in modo naturale se vogliono lavorare a fianco degli esseri umani. Questo progresso arriva in un momento in cui l’interesse per i robot nelle case e nei luoghi di lavoro è in rapido aumento.

Al CES 2026, questo slancio è stato messo in mostra con demo che vanno da Atlas di Boston Dynamics, un umanoide pronto a entrare sul posto di lavoro, al robot focalizzato sulla casa di SwitchBot che può cucinare e fare il bucato, al prossimo robot assistente domestico di LG progettato per semplificare la vita quotidiana.

Aggiungete progressi come la pelle artificiale che dà ai robot una sensibilità simile a quella umana e una sincronizzazione labiale realistica, ed è facile vedere come i robot stanno iniziando ad assomigliare meno alle macchine e più ai compagni sociali. Emo è ancora un progetto di ricerca, ma mostra come un giorno i robot potrebbero apprendere le abilità umane guardando e ascoltando come facciamo noi.