Wetenschappers van de universiteit van Berkeley hebben hersenscans (fMRI) gebruikt om de verwerking van beelden in de hersenen om te zetten naar video.
Men liet proefpersonen eerst naar uren video kijken terwijl de hersenactiviteit werd gemeten. Zo werd in kaart gebracht welke hersengebieden actief zijn bij welke visuele input. Deze gegevens werden gebruikt om een model te maken dat in staat was te voorspellen welk activiteitspatroon de hersenen zouden laten zien, bij een willekeurig video. Vervolgens werden de 100 best passende video’s tot 1 video samengevoegd. Het resultaat is hieronder te zien.
Als de techniek eenmaal goed is uitgewerkt, kan het onder meer gebruikt worden om dromen om te zetten in films. Ook kan op die manier gecommuniceerd worden met mensen die in coma liggen. Ook zou het gebruikt kunnen worden om computers te besturen zonder dat de gebruiker een fysieke actie hoeft te ondernemen als het aanraken van een touchscreen of het typen op een toetsenbord. [tweakers.net]
Er zijn mensen die zeggen dat ze out-of-body experiences (OBE’s) (uittredingen) hebben. Als deze technologie verder ontwikkeld wordt dan kan het misschien ooit mogelijk worden om dat soort ervaringen (of bijvoorbeeld voorspellende dromen) gewoon op video vast te leggen. Op die manier wordt het dan eindelijk mogelijk om OBE’s beter te bestuderen, te documenteren en mogelijk op echtheid te testen.
Meer weten over deze techniek?
Kort bericht op Tweakers.net
Origineel persbericht van UC Berkeley
Uitgebreide informatie van het Gallant Lab aan de UC Berkeley, waar de wetenschappers het onderzoek uitvoerden.
Dat is natuurlijk het eerste stapje om eindelijk wel gedachten te kunnen lezen. Als die techniek nog wat wordt verfijnd, en verondersteld dat het hele verhaal geen grapje is, zou zo iets binnenkort mogelijk zijn. Een echte leugendetector, dit keer.
Ik ben gewoonlijk een voorstander van nieuwe techniek, maar dit keer voel ik raar en weet niet of ik er blij met zal zijn.
Lees ik dat goed? Eerst was er iets (een mens? een computerprogramam?) dat beoordeelde of iets (een fMRI-beeld) ‘paste’ bij een film. Alleen wat goed paste werd bewaard. Daarna werden 100 van zulke ‘passende’ fMRI-patronen over elkaar heen gelegd.
Dat kun je ook met toevalspatronen doen. Het zou overtuigender zijn als de fMRI-beelden waren samengesteld zonder na te gaan of ze wel ‘pasten’. Zo gedaan lijkt het op computergestuurde pareidolia.
Voor exacte details zie de linkjes.
En inderdaad, het computerprogramma beoordeelde aan de hand van de scan wat voor beelden/video’s zouden kunnen passen in wat de proefpersoon zag. De 100 best passende werden samengevoegd tot het beeld wat in de video te zien is aan de rechterkant.
Natuurlijk heb je gelijk dat het stukken overtuigender zou zijn geweest als het beeld gewoon werd gemaakt door de hersenscan direct in beeld om te zetten. Helaas is dit het beste wat ze ervan kunnen maken. Ik denk dat de resolutie van de fMRI met een veelvoud zal moeten toenemen om dat soort dingen mogelijk te maken. Maar wie weet waar we over 25 jaar weer zijn?
2011/9/26 Disqus
Het gaat dus nog wel even duren voordat iemand gedachten kan lezen, als het er al ooit van komt. Want het is natuurlijk maar de vraag of er passende filmpjes bij mijn of iemand anders gedachten zijn te vinden…
Het zou interessant zijn als ze hadden laten zien dat je door de 100 best bij A passende te selecteren uit het materiaal voor B, C, … je helemaal niet zo’n mooie overeenstemming krijgt.
Altijd vergelijken met iets dat als ‘nulproef’ kan worden opgevat! Wanneer leren ze nou eens de basisregel van serieus onderzoek?
Dat bedoel ik maar!
Als je alleen de best passende beelden selecteert, ben je verkeerd bezig. Immers, als je maar lang genoeg meet, en alleen de best passende beelden laat zien, dan kan je die video ook met puur toeval genereren.
De best passende beelden worden niet getoond, alleen de 100 best passende worden samengevoegd… Misschien begrijp ik uw opmerking niet helemaal?
Overigens is de door mij gegeven informatie in dit artikel natuurlijk onvolledig. De onderste van de drie linkjes geeft uitgebreide informatie.
2011/9/26 Disqus
Eerlijk gezegd geloof ik er geen moer van. Eerste filmje kan dan wel normaal zijn, maar die voorbeelden lijken wel vreselijk bewerkt ofzo…
My 2 cents.
Ik begrijp je opmerking niet goed. Ik denk dat ik misschien niet duidelijk ben geweest. Het linker beeld is wat de proefpersoon ziet, het rechterbeeld is wat de computer ervan maakt door alleen naar de hersenactiviteit te kijken, vervolgens uit een hele hoop videobeelden de 100 best passende te selecteren en die alle 100 samen te voegen: het rechterbeeld.
Oké, volgens mij is het niet helemaal duidelijk overgekomen. Het volgende filmpje daarentegen zou alles duidelijk moeten maken:
http://www.youtube.com/watch?v=KMA23JJ1M1o
Ze hebben de proefpersonen vele uren aan (random gekozen) beeldmateriaal laten zien. Tegelijkertijd hebben ze de activiteit van de fmri opgeslagen (elke seconde werd activiteit gemeten). Hier hebben ze modellen op los gelaten, die de activiteit begrijpbaar maken.
Wat ze is gelukt, is om een model te maken dat de activiteit kan herkennen. Nu is het handig om de link te openen die ik hierboven heb neergezet. Stel, we kijken naar frame x (het rode kader). Bij de activiteit bij frame x werden de 100 meest passende activiteiten gezocht die al eerder in de data voorkwamen. Dit zijn dus de 100 filmpjes die het meest op frame x lijken (alle filmpjes in het blauw). Het gemiddelde van deze filmpjes is het vage beeld dat je ziet (groene frame).
Wat hebben we hier nou aan? Nou, we kunnen dus orde scheppen uit de data van een fmri. Stel dat we genoeg data zouden hebben van 1 persoon (1000 uur aan beeldmateriaal bekeken). Stel dat je die persoon weer aan een fmri koppelt. Aan de hand van de eerdere data zouden we een beeld kunnen construeren dat enigszins lijkt op wat die persoon ziet. En dit is dan de visuele cortex. Eventueel zouden we ditzelfde kunnen doen bij andere hersendelen, zodat we veel meer informatie uit hersenactiviteit kunnen halen
Natuurlijk is die laatste alinea te optimistisch. Een fmri heeft veel beperkingen (zowel de resolutie in ruimte als de resolutie in tijd), en het interpreteren van fmri-activiteit is ook niet veel nieuws. De enige reden waarom dit onderzoek in het nieuws komt, is vanwege het filmpje dat heel interessant lijkt. Waar het op neer komt, is dat dit een stap is in de goede richting als het aankomt op de interpretatie van hersenactiviteit, maar meer ook niet.
Nu wil ik het ook nog met mijn eigen worden proberen, zo ver ik het heb begrepen (mijn Engels is niet het best). Ze hadden drie pakjes videofilmpjes, of sequenties. Het eerst wordt gebruikt om het programma (de decoder) te ijken. Gegevens uit de hersenen-meetingen (fMRI) werden vergeleken met gegevens uit de filmpjes, welke gegevenes dat precies waren weet ik ook niet. Ten twede hadden ze het eigenlijke proef-filmpje, wat de proefpersonen moesten bekijken. Het derde pakje dient om de gemeten hersenen-gegevens met een bepaald filmpje te verbinden om die vervolgens weer te rekonstrueren. Ider van de filmpjes hoort alleen bij een van de groepen.
Niemand, geen mens en geen progamma, heeft het resultaat (de uitgekosen, passende sequenties) met de oorspronkelijke proef-filmpje vergeleken, dat was alleen maar met de fMRI. Zo simpel was het nou toch niet. Anony heeft dat ook min of meer gezegd.
Trouwens, er worden niet alle 100 passende sequenties getoond, maar de eerste 7. En de detector moet ook nog een beetje bijgesteld worden ten opzichte van olifanten. (;-)
‘Voorspellende dromen op video vast te zetten’ ?? Ik zou daar graag een skeptische opmerking over willen maken, maar jullie raden hem waarschijnlijk al….
Mja ok, dromen vastleggen om te testen of ze voorspellend zijn, beter?
Prima, maar mag ik betwijfelen of dromen voorspellend kunnen zijn of is dat té skeptisch?
Dat mag u betwijfelen. Ik zie ook niet dat met deze techniek dromen werkelijk in een beeld worden omgezet, dus om daarna te checken of die beelden ook voorspellend zijn is voor mij een stap of 3 te ver.
Ik betwijfel met u mee. 😉
Ow jazeker, ik twijfel er ook aan. Er zijn voor zover ik weet ook geen bewijzen voor te vinden. Maar wel veel beweringen. “Ow dat heb ik gedroomd!” —> met dit soort technologie wordt het misschien ooit mogelijk om de nachtelijke opnames terug te spoelen en… vervolgens te zien dat men het zich verkeerd herinnert 🙂
Vermoed ik tenminste, mogelijk zullen we het ooit echt zien.
Ik heb – als volstrekte leek in de neurowetenschap – de idee dat dromen kunnen dienen als een methode van de hersenen om op een bepaalde manier “de harde schijf te defragmenteren”. Indien daar een kern van waarheid in zit, zouden dromen (als je je die al herinnert!) geen betekenis hebben, en dus ook niet voorspellend zijn, maar alleen een soort ervaring van het ordeningsproces zijn.
@Hans. Dit is een bestaande neuro-theorie. Ben even kwijt van wie. Populair gezegd. De hersenschors wordt tijdens het dromen gebombardeerd met random input. Als nieuwe verbindingen (herinneringen) worden geactiveerd dan worden ze verbroken, Als oudere, sterkere verbindingen, worden geraakt dan blijven ze eerder bestaan. De ervaringen tijdens de droom zijn de chaotisch, geactiveerde herinneringen. Het consistente verhaal ontstaat pas na het wakker worden.
Gevonden! Theorie was van Crick en zijn vriendje:
Crick F, Mitchison G. The function of dream sleep. Nature 304 (1983): 111-114