In het filmpje is te zien én te merken hoe de hersenen informatie van de zintuigen combineren tot één ervaring.
In het onderstaande filmpje hoor en zie je iemand ‘baa’ ‘baa’ ‘baa’ zeggen. Vervolgens zegt die persoon ‘faa’ ‘faa’ ‘faa’. Nu komt het, het geluid van de eerste drie ‘baa’-woorden wordt onder de beelden van de persoon die de ‘faa’-woorden zegt gezet. Je zou verwachten dat je nu zo’n reclame-ervaring krijgt waarbij een slechte nasynchronisering irritatie veroorzaakt doordat de mondbewegingen en wat er gezegd wordt niet bij elkaar passen.
Niets is minder waar, ondanks dat het geluid wel degelijk ‘baa’ is, hoor je toch ‘faa’, tenzij je je ogen dicht doet, dan kan je de ‘baa’ weer horen.
Je hersens verwerken de visuele informatie samen met de auditieve en het lijkt alsof je hersenen met zichzelf overleggen: ‘het zal wel “faa” zijn, want hij spreekt duidelijk een f uit: doe maar alsof we faa horen’. De visuele informatie ‘overrulet’ de auditieve en we ‘horen’ duidelijk een ‘faa’.
Het McGurk effect: