AI tolkade talförsök och gester från samma hjärnimplantat

Forskare vid University of California, San Francisco har visat att ett hjärnimplantat kan ge signaler till två AI-modeller som tolkar försök att tala och gestikulera samtidigt. I den publicerade studien användes detta för att visa ord som text och styra gester hos en digital figur. Det är ett kontrollerat försök med personer som har svår förlamning.

Tre personer deltog i forskningen. Hos var och en låg ett nät av elektroder mot hjärnans yta och registrerade aktivitet i områden som hör ihop med tal och rörelse. Två av deltagarna använde sedan en personlig digital figur i försök med både tal och gester. Den tredje bidrog till undersökningen av hjärnsignalerna, men använde inte figuren i den demonstrationen.

Systemet tränades på signaler när deltagarna försökte säga en fras, göra en gest och göra båda samtidigt. En modell tolkade talförsöket och skrev ett av de förvalda uttrycken på skärmen. En annan modell valde vilken gest figuren skulle visa, till exempel en vinkning. Implantatet läste alltså inte fria tankar eller förde ett samtal med obegränsat ordförråd.

En viktig lärdom var att signalerna ändrades när en person försökte tala och gestikulera samtidigt. Modeller som bara hade tränats på tal eller gester var för sig fungerade sämre i kombination. Forskarna förbättrade resultaten genom att också träna dem på samtidiga försök.

I ett av försöken fanns tio förvalda fraser och tio gester. Den andra deltagaren hade fem fraser och fyra gester. Forskarna redovisar träffsäkerhet från korta, styrda testblock, men resultaten ska inte läsas som träffsäkerhet i fria vardagssamtal. Implantatet var dessutom anslutet med kabel till extern utrustning.

Studien visar att text och kroppsspråk kan förmedlas tillsammans från ett och samma implantat. Det kan på sikt göra digital kommunikation mer uttrycksfull för vissa personer med förlamning. Forskarna behöver fortfarande pröva tekniken i längre och friare användning, med fler personer, fler uttryck och utrustning som går att använda utanför laboratoriet. Inget i studien visar att systemet erbjuds i svensk vård.

Artikeln i korthet

• Ett hjärnimplantat gav signaler till två AI-modeller som tolkade talförsök och gester samtidigt.
• Tre personer med svår förlamning deltog; två styrde text och en digital figurs gester i kontrollerade försök.
• Modellerna behövde tränas också på samtidiga tal- och gestförsök för att fungera bättre tillsammans.
• Tester med få förvalda uttryck och kabelansluten utrustning visar inte att tekniken är ett färdigt hjälpmedel.

Därför spelar det roll

Samtal består av mer än ord. Studien visar ett sätt att låta samma implantat fånga både talförsök och kroppsspråk, men också hur långt det är från ett kort laboratorietest till fri kommunikation i vardagen.

Det här kan du göra

1. Läs resultatet som ett tidigt forskningssteg, inte som en behandling som går att få i Sverige.
2. När du ser en procentsiffra om hjärnimplantat, kontrollera hur många personer, fraser och testomgångar den bygger på.
3. Skilj mellan text och animerade gester på en skärm och faktisk återställd tal- eller rörelseförmåga.

Kom ikapp om ämnet

Hjärn-datorgränssnitt har tidigare använts för att tolka tal eller styra rörelse var för sig. Nyheten i studien från den 14 september är att forskarna visade talförsök och gester samtidigt från ett implantat. AI Kollen publicerar genomgången den 17 september med dagens verkliga publiceringstid.

Studien publicerades den 14 september 2026 och togs upp av The Rundown den 15 september. Källorna kontrollerades den 17 september 2026.

Källor

Nature Neuroscience: Simultaneous speech and gesture decoding

NIH: Neuroprosthesis for paralysis enables simultaneous speech and body language

Nature News: Multifunctional brain implant