A neurológusok számítógépeket tanítanak a szavak olvasására az emberek agyából egyenesen.
Kelly Servick, a Science számára írva, ezen a héten három, a bioRxiv preprint nyomtatószerverre elküldött papíra kapcsán számolt be, amelyekben három különféle kutatócsoport bebizonyította, hogy dekódolhatják a beszédet az idegsejtek égetésének felvételeiből. Mindegyik vizsgálatban a közvetlenül az agyra elhelyezett elektródok idegi aktivitást rögzítettek, míg az agysebészeti betegek beszédet hallgattak vagy hangosan olvasták a szavakat. Ezután a kutatók megpróbálták kitalálni, mit hallottak vagy mondtak a betegek. A kutatók mindegyik esetben képesek voltak az agy elektromos aktivitását legalább valamelyest érthető hangfájlokká konvertálni.
Az első cikk, amelyet a bioRxiv-hez küldtek 2018. október 10-én, egy kísérletet ír le, amelyben a kutatók beszédfelvételeket készítettek az epilepsziában szenvedő betegek számára, akik az agyműtét közepén voltak. (A kísérletben alkalmazott idegi felvételeknek nagyon részleteseknek kellett lenniük, hogy értelmezhetők legyenek. És ez a részletesség csak azon ritka körülmények között érhető el, amikor az agyat a levegőnek teszik ki, és az elektródákat közvetlenül rá helyezik, például az agyműtét során) .)
Miközben a betegek meghallgatták a hangfájlokat, a kutatók neuronokat lövöldözőket rögzítettek a betegek agyában, amely hangot dolgoz fel. A tudósok számos különféle módszert kipróbáltak az idegrendszeri tüzelési adatok beszédgé történő alakítására és megállapították, hogy a „mély tanulás” - amelyben egy számítógép többé-kevésbé felügyelet nélkül próbál megoldani egy problémát - működött a legjobban. Amikor 11 hallgatóból álló csoport számára az emberi hangot szintetizáló vokóder segítségével játszották le, az egyének az idő 75% -át képesek voltak helyesen értelmezni.
A kísérlet hangját itt hallgathatja.
A második, 2018. november 27-én közzétett cikk az agydaganatok eltávolítására műtéten átesett emberek idegi felvételeire támaszkodott. Mivel a betegek hangosan olvasták el az egytagos szókat, a kutatók mind a résztvevők szájából kiinduló hangot, mind az agyuk beszédtermelő régióiban tüzelő neuronokat rögzítették. Ahelyett, hogy mindegyik betegnél mélyrehatóan kiképezték volna a számítógépet, ezek a kutatók mesterséges idegi hálózatot tanítottak arra, hogy az idegi felvételeket audióvá alakítsák, megmutatva, hogy az eredmények legalább ésszerűen érthetőek és hasonlóak a mikrofonok felvételeivel. (A kísérlet hangja itt található, de zip fájlként kell letölteni.)
A harmadik, 2018. augusztus 9-én közzétett tanulmány az agy azon részének rögzítésére támaszkodott, amely olyan szavakat konvertál, amelyek egy személy úgy dönt, hogy beszél, izommozgássá. Noha a kísérletből nem állnak online felvételek, a kutatók arról számoltak be, hogy képesek voltak teljes mondatokat rekonstruálni (epilepsziában szenvedő agyműtét során is rögzítették), és hogy a mondatokat hallgató emberek képesek voltak helyesen értelmezni őket egy feleletválasztós választással. teszt (10 választás közül) az idő 83% -a. A kísérlet módszere az egész szó helyett az egyes szótagok létrehozásának mintáinak azonosításán alapult.
E kísérletek mindegyikének célja az, hogy egy nap lehetővé tegye az emberek számára, akik elveszítették a beszédképességüket (amiotróf laterális szklerózis vagy hasonló körülmények miatt) egy számítógép-agy felületen keresztül. Az alkalmazás tudománya azonban még nem létezik.
Az ember idegi mintáinak értelmezése bonyolultabb, ha a beszédet csak elképzelni képzeljük, mint a beszédet hallgató vagy előállító személy mintáinak értelmezése. (A második cikk szerzői azonban azt mondták, hogy lehetséges a beszédet képzelő személy agyi tevékenységének értelmezése.)
Fontos szem előtt tartani, hogy ezek kis tanulmányok. Az első cikk mindössze öt beteg adataira támaszkodott, míg a második hat betegre, a harmadik csak három betegre támaszkodott. És egyik idegi felvétel sem tartott több mint egy órát.
Ennek ellenére a tudomány halad előre, és a közvetlenül az agyhoz kapcsolt mesterséges beszédkészülékek valódi lehetőségnek tűnnek egy bizonyos ponton az úton.
