Kloptdatwel?

Wetenschap

Misser van WRR: ‘slechts’ 25 procent van Nederlanders vond homeopathie wetenschappelijk

by 4 Comments

Dat was even schrikken. Op de website DUB, het medium van de Universiteit Utrecht, staat een stukje over hoe de samenleving aankijkt tegen het wetenschappelijk gehalte van een aantal vakgebieden. De resultaten van een steekproef zijn in een kek grafiekje samengevat, met daarin per vakgebied het percentage dat als ‘wetenschappelijk’ en ‘niet wetenschappelijk’ was aangeduid door de ondervraagden. Niet verrassend aan die cijfers is dat ‘harde’ wetenschappen Natuurkunde en Wiskunde hoog scoren met respectievelijk 94 en 90 procent voor ‘wetenschappelijk’. Dat geneeskunde de lijst aanvoert met 97 procent is al iets vreemder, maar ronduit verbazingwekkend zijn de cijfers van de hekkensluiters in de tabel. Niet omdat die onterecht onderaan staan, maar omdat ze nog zo hoog scoren. Het gaat namelijk om homeopathie en astrologie, die volgens de gegevens nog door 55 en 34 procent van de ondervraagden als wetenschappelijk gezien worden! Hoe kan dat nu weer?

Een verontrustende tabel (bron: DUB)
Een verontrustende grafiek (bron: DUB)

De gegevens komen uit onverdachte bron, het recente rapport van de Wetenschappelijk raad voor het Regeringsbeleid (WRR) onder de titel ‘Hoeveel vertrouwen hebben Nederlanders in wetenschap?‘ (pdf). Inderdaad staat daarin op pagina 14 het volgende tabelletje:

Tabel 2 uit rapport van de WRR
Tabel 2 uit rapport van de WRR

Hiermee kunnen we verder op zoek naar de bron. Die is niet al te moeilijk te vinden, het gaat om ‘Europeans, Science and Technology‘ (pdf) van Eurobarometer in opdracht van de Europese Commissie, gepubliceerd in juni 2005. Daar komt toch een wat ander beeld uit naar voren. In de enquête werd namelijk niet gevraagd om ‘wetenschappelijk’ of ‘niet wetenschappelijk’ aan te kruisen, maar om je mening te geven op een vijfpuntsschaal, lopend van ‘volstrekt niet wetenschappelijk’ tot ‘zeer wetenschappelijk’. De laagste twee categorieën werden samengevoegd tot ‘niet wetenschappelijk’ en de hoogste twee tot ‘wetenschappelijk’.
Als je dan kijkt naar de cijfers voor de EU als geheel, vind je dat 33 procent van de EU-burgers homeopathie ‘wetenschappelijk’ vindt (blz. 35). Zou Nederland dan zou veel meer vertrouwen hebben in de werking van geschud water of in de wetenschappelijke capaciteiten van de homeopathische proefjesnemers? Nou, nee. In de bijlagen staat per lidstaat de uitsplitsing, voor Nederland zien de cijfers er als volgt uit (blz 198 en 208,  bladzijdenummering van pdf):

 N 1 2 3 4 5 DK
groep A 486 20% 26% 27% 16% 10% 1%
groep B 519 17% 26% 33% 16% 7% 1%

De enquete was in tweeën gesplitst, groep A kreeg soms andere vragen dan groep B, maar niet bij homeopathie. ‘DK’ staat voor ‘Don’t know’ neem ik aan. Als je nu de cijfers netjes bij elkaar voegt kom je uit op 45 procent die homeopathie als ‘niet wetenschappelijk’ en 25 procent die het als ‘wetenschappelijk’ karakteriseert. Dat laatste cijfer is wel wat minder schokkend dan de 55 procent van de WRR. De opstellers van het WRR-rapport hebben blijkbaar de categorie ‘wetenschappelijk’ zelf opnieuw gedefinieerd als 100 procent minus ‘niet wetenschappelijk’ en daarbij de neutrale categorie (3) ook maar bij ‘wetenschappelijk’ genomen. Slordig op zijn minst.

Dat er met twee groepen gewerkt werd, maakte het mogelijk om bijvoorbeeld bij astrologie te onderzoeken of de hoge score in 1993 en 2001 misschien voor een groot deel verklaard kon worden door een verwarring met het woord astronomie (dat zou er achter kunnen zitten, denk ik tenminste , hoewel astronomie zelf ook in het lijstje staat). Groep A werd ondervraagd met ‘astrologie’ en groep B met ‘horoscopen’ en dat gaf het volgende resultaat (voor NL, blz 193 en 203 van de pdf):

1 2 3 4 5 DK
Astrologie 486 27% 15% 21% 19% 16% 2%
Horoscopen 519 65% 21% 6% 4% 3% 1%

Als je het bij elkaar neemt en weegt, kom je op 66 procent voor ‘niet wetenschappelijk’ en 21 procent voor ‘wetenschappelijk. De WRR maakte weer dezelfde blunder en geeft 34 procent voor ‘wetenschappelijk’. Natuurlijk is het nog steeds zorgelijk dat er zoveel Nederlanders homeopathie en astrologie als wetenschappelijk karakteriseren (en zelfs nog 7 procent vindt dat ook van horoscopen), maar zo erg als de WRR het voorschotelt, is het dus lang niet. En ‘we’ doen het dus zelfs wat ‘beter’ dan het Europees gemiddelde.

Update: het rapport is overigens in samenwerking met het Rathenau Instituut geschreven, dus misschien gaat het iets te ver om van een ‘WRR-rapport’ te spreken

Het Denkgelag – Debat over “de grenzen van de wetenschap”

by 56 Comments

denkgelag-logoOnze skeptische zuiderburen organiseren in vervolg op de succesvol verlopen reeks denkgelagen in 2012 wederom een ‘ongedwongen gespreksavond over sceptische en wetenschappelijke onderwerpen, bij pot en pint, met een schare boeiende sprekers en het publiek als centrale gast.’ Ditmaal met zeker niet de minste sprekers! 

17 oktober 2013 te Gent:

Debat over “de grenzen van de wetenschap”

Kan de wetenschap alles verklaren? Kan wetenschap zonder filosofie? Is wetenschap de enige bron om kennis te vergaren? Wat is het nut van filosofie in de wetenschap? Maar we gaan onderwerpen zoals het bestaan van de vrije wil of het bewustzijn ook niet uit de weg.

Sprekers:

daniel_dennett_1

Daniel Dennett:

Daniel Dennett (°1942) kan beschouwd worden als de bekendste hedendaagse filosoof. Hij houdt zich bezig met vraagstukken betreffende het bewustzijn, de filosofie van de geest en kunstmatige intelligentie. Hij doceert aan de Tufts University nabij Boston en heeft sinds de uitzending van de VPRO-serie Een Schitterend Ongeluk ook in Nederland en Vlaanderen bekendheid gekregen. Daniel Dennett stond tot vier maal toe op TED. Zijn laatste boek “Intuition Pumps and Other Tools for Thinking” kreeg tal van lovende recensies in oa. De NY Times, The Guardian en de Nederlandse vertaling van het boek verschijnt op 6 oktober 2013.
krauss2

Lawrence Krauss:

Lawrence Maxwell Krauss (°1954) is een internationaal befaamd natuurkundige en bestsellerauteur. Hij is professor natuurkunde en directeur van het Origins project aan de Arizona State University. In zijn boeken tracht hij prikkelende, onthullende antwoorden te geven op de meest fundamentele vragen. Waar komt ons heelal vandaan? Waarom is er iets in plaats van niets? En hoe zal het allemaal aflopen? Hij wordt alom geprezen voor zijn bevattelijke en aanstekelijke manier van communiceren. Binnenkort verschijnt een grootsopgezette documentaire waarin Lawrence Krauss en Richard Dawkins gevolgd worden terwijl ze de wereld rond trekken om te praten over wetenschap en rede. De première is gepland op het Hot Docs International Film Festival in Toronto in april 2013. Een aantal beroemdheden waaronder Woody Allen, Cameron Diaz, Ricky Gervais, Ian McEwan en Stephen Hawking. Lawrence Krauss is er ten stelligste van overtuigd dat wetenschap (nagenoeg) alles kan verklaren en dat niets buiten haar blikveld valt, ook niet de moraliteit, vrije wil of andere filosofische vragen.
Pigliucci

Massimo Pigliucci:

Massimo Pigliucci (°1954) is professor filosofie aan de City University of New York en auteur van een tiental boeken over evolutie, scepticisme en ecologie. Pigliucci is een doorgewinterde scepticus en uitgesproken criticus van pseudowetenschap en religie, maar hij waarschuwt voor de gevaren van “sciëntisme”, de opvatting dat wetenschap alles kan verklaren en de enige vorm van kennis uitmaakt. Hij stoort zich aan de neerbuigende houding van sommige wetenschappers tegenover filosofische problemen, en houdt vol dat wetenschap en filosofie elkaar nodig hebben.

 

Meer informatie op de website van het Denkgelag of op de Facebook-pagina of meteen naar de ticket-verkoop.

Toch verborgen boodschap in Voynich manuscript?

by 14 Comments

Het Voynich-manuscript is een handgeschreven middeleeuwse tekst, geïllustreerd met  afbeeldingen van ondere andere planten en astronomische objecten. Het manuscript lijkt voor een belangrijk deel te gaan over recepten met kruiden, hun bereidingswijzen en toepassingen. Lijkt, want de enige aanwijzing daarvoor ligt in die afbeeldingen. De tekst is namelijk tot op heden een onkraakbare puzzel gebleken. Talloze wetenschappers en cryptografen hebben er iets van proberen te maken, maar tevergeefs. De mogelijkheid dat het hele werk een hoax is, werd steeds meer als waarschijnlijk aangenomen. Een maand geleden kwamen onderzoekers van de universiteit van Manchester echter met de resultaten van hun analyse van het intrigerende document: er zijn duidelijk aanwijzingen dat het geen willekeurige verzameling onzinwoorden en zinnen is en dat er dus wel degelijk een boodschap in de tekst verstopt kan zitten. Niet iedereen is echter overtuigd dat die conclusie getrokken kan worden.

voynich-fav-img
Een karakteristieke pagina uit het Voynich-manuscript

Kunsttaal …
Zelfs met een lekenoog valt het op dat de teksten in het Voynich-manuscript veel weg hebben van een echte taal. Er zijn woorden en zinnen van verschillende lengte, korte woordjes lijken vaker voor te komen dan lange en meer van dat soort kenmerken. Het is zeker niet uitgesloten dat hem om een kunsttaal zou gaan, zoiets als Esperanto, maar dan zonder enige relatie met bekende talen. Maar waarom zou iemand in de 15de eeuw die moeite doen voor één zo’n manuscript? Er is immers geen enkel ander document bekend dat in dezelfde ‘taal’ is geschreven. De geschiedenis van het manuscript laat echter zien dat er in de loop van de tijd door verschillende mensen toch behoorlijke bedragen voor zijn betaald om er eigenaar van te worden. Het is genoemd naar Wilfred Voynich die het document in 1912 kocht. De moeite die het gekost moet hebben om het te vervaardigen, kan best een lucratieve bezigheid zijn geweest. Het manuscript is nu eigendom van de Beinecke Rare Book and Manuscript Library of Yale University en kan in zijn geheel online worden ingezien.

voynich-03-astronomical
Een afbeelding uit een astronomisch gedeelte?

In hun recente artikel ‘Keywords and Co-Occurrence Patterns in the Voynich Manuscript: An Information-Theoretic Analysis‘ leggen auteurs Marcelo Montemurro en Damián Zanette (natuurkundigen) uit hoe ze hun analyse hebben uitgevoerd. In het kort komt het er op neer dat je heel precies kijkt naar de verdeling van woorden over de tekst en de onderlinge samenhang. Korte, niet zoveel betekenis hebbende woordjes (als lidwoorden, voorvoegsels e.d.) zullen regelmatig verspreid over de tekst voorkomen, maar woorden met ‘hoge informatiedichtheid’ zullen minder vaak optreden en meestal meer geconcentreerd, binnen een hoofdstuk bijvoorbeeld. De techniek was al gebruikt voor andere teksten en lijkt zinvolle resultaten te geven. In Darwins On the Origin of Species, werden bijvoorbeeld als belangrijkste woorden species,varieties, hybrids, forms en genera aangewezen. De woorden die in het Voynich manuscript als belangrijkste worden gevonden, lijken vaak specifiek bij de verschillende secties van het manuscript terug te vinden te zijn. Het lijkt er dus op dat de verschillende secties over verschillende onderwerpen gaan en dat wijst dus toch op een betekenis in de tekst. Want hoe zou een vervalser in de 15de eeuw met deze geavanceerde analysetechnieken rekening hebben kunnen houden?

… of hoax?
De conclusie van Montemurra en Zanette kreeg meteen stevige kritiek van Gordon Rugg, een onderzoeker die juist de theorie verdedigt dat het manuscript een hoax is. Op zijn weblog heeft hij inmiddels een aantal artikelen geplaatst waarin hij uiteenzet wat er niet aan het verhaal van de onderzoekers uit Manchester klopt. De belangrijkste kritiek komt er op neer dat ze te weinig kennis hebben genomen van wat er al eerder aan onderzoek is gedaan naar het manuscript en dat het feit dat de tekst geen willekeurige reeks woorden lijkt te zijn, niet automatisch hoeft te betekenen dat het dan ook een echte boodschap bevat. Rugg had nu juist laten zien dat met de methode die hij suggereert voor de vervaardiging van zo’n tekst, die eigenschappen als het ware vanzelf optreden.

De methode die Rugg geeft is inderdaad bijna een automatisch proces, er is weinig betekenisvols aan. Je start met een rooster gevuld met zelfverzonnen ‘lettergrepen’. Over dat rooster schuif je een mal en de vakjes die niet afgedekt zijn, vormen telkens je volgende woord. Je kunt nu variëren met diverse mallen en roosters. De vakjes moeten wel een bepaalde verdeling hebben. In de middeleeuwen was de cryptografische kennis wel zo ver dat ze kennis hadden van de meest basale statistische kenmerken van teksten. Dat talen een specifieke verdeling van letters hadden en dat woordlengte op een bepaalde manier varieert, is niet zo lastig te verwerken in zo’n rooster. De hoaxer moet er wel op letten om zijn mal niet op een systematische manier over zijn rooster te schuiven, anders ontstaan er alsnog duidelijke patronen die kunstmatig aandoen.

voynich-slide3
Een voorbeeld van het gebruik van rooster en mal, gebruikt door Rugg om Voynich achtige teksten te fabriceren.

Bij geheimschriften werden in die tijd dit soort roosters wel gebruikt, dus dat maakt het gebruik ervan bij het vervaardigen van zo’n tekst niet geheel onwaarschijnlijk. Het is wel lastig om er voor te zorgen dat de roosters volstrekt willekeurig worden ingevuld, zeker als je als middeleeuwer nog helemaal niet op de hoogte was van zoiets als ‘true randomness’.  Bij het wisselen van rooster verwacht je dan eigenlijk ook wel een verschil in de verdeling van de lettergrepen te kunnen zien. En dat blijkt zo te zijn in het Voynich-manuscript. Veel gebruikte lettergrepen komen door het document heen in verschillende blokken van dichtheid voor. Die toch niet zo willekeurige verdeling vertaalt zich ook in het vaker voorkomen van langere combinaties van die lettergrepen in bepaalde stukken tekst. Rugg stelt dat de effecten die Montemurro en Zanette vinden en toewijzen aan verschillende besproken onderwerpen in de tekst, in feite kunnen wijzen op het gebruik van die verschillende roosters zonder betekenisvolle inhoud. Hij schat dat de hoaxer tussen de zes en tien verschillende roosters heeft gebruikt.

De controverse kan beslecht worden door met de methode van Rugg langere stukken tekst te maken en dan te kijken met de methode van Montemurra en Zanette of je inderdaad hetzelfde soort ‘betekenisvolle’ woorden vindt. Een ander argument dat Rugg noemt, dat erop duidt dat het om een hoax gaat, is het feit dat er geen verbeteringen in de tekst zijn te vinden. Dat is merkwaardig als het om een echte taal zou gaan. Bij het schrijven van zoveel tekst, maakt iedereen wel eens een fout en in andere handschriften tref je die volop aan, vaak verbeterd. Een hoaxer zal echter niet zoveel reden hebben om een fout overgeschreven lettergrepencombinatie van zo’n mal te verbeteren, dat verandert immers niets aan de inhoud die er toch al niet inzat.

Links:

 

Opnieuw dubieus onderzoek van tegenstanders genetisch gemodificeerd voedsel

by 19 Comments

Vorig jaar werd de wereld opgeschrikt door een studie waaruit zou blijken dat ratten die op een dieet waren gezet van genetisch gemodificeerde (GM) maïs gigantische tumoren ontwikkelden. De bijgeleverde foto’s van ratten met lijfjes waar bulten ter grootte van pingpongballen aan alle kanten uitstaken, spraken boekdelen. Hartstikke fout spul die GM-maïs, had de Franse onderzoeker Séralini dus aangetoond. Maar de ratten die ‘normaal’ te eten kregen, waren er niet veel beter aan toe. De gebruikte rattensoort staat bekend om het ontwikkelen van dergelijke kankers. Inmiddels is die studie van alle kanten afgeschoten als prutswerk en het feit dat Séralini zijn data niet wil vrijgeven, zegt misschien ook wel genoeg. Een soortgelijke studie verscheen op 11 juni jl., nu waren varkens de klos. Na 23 weken wegkauwen van GM-voer, waren hun magen duidelijk meer ontstoken dan die van hun meer fortuinlijke soortgenoten die gewoon voer kregen. Hoewel het resultaat met iets minder schokkende foto’s werd geïllustreerd, ging het nieuws weer als een lopend vuurtje het internet over. Ook nu kwam de kritiek snel op gang en die is net zo vernietigend. Anti-GM-activisten zullen er voorlopig echter nog wel mee blijven rondzwaaien, zoals ze ook doen met het onderzoek van Séralini.

Het verschil lijkt duidelijk, het gemodificeerde voedsel pakt verschrikkelijk uit. Maar klopt dat wel?
Het verschil lijkt duidelijk, het gemodificeerde voedsel pakt verschrikkelijk uit. Maar klopt dat wel?

De Australische en Amerikaanse onderzoekers voerden 84 varkens GM-soja en -maïs en 84 andere varkens ‘normaal’ voedsel. Na vijf maanden werden ze geslacht en onderzocht door dierenartsen die niet wisten wat welk varken had gegeten. Geen verschillen werden gevonden voor voedselinname, gewichtstoename, bloedwaarden en sterfte. Wel bleek dat van de varkens op het GM-dieet maar liefst 32% een hevige ontsteking van de maag had, tegen maar 12% in de controlegroep. Een plaatje maakt het duidelijker (zie rechts).

Er is van alles mis met dit onderzoek. Dat varieert van het niet vooraf bepalen waar de onderzoekers naar zouden kijken tot het niet vermelden dat ze zelf behoorlijke belangen hebben in de biologische veehouderij. Op de website rbutr.com kun je nu al 26 links vinden naar blogs en andere artikelen die stuk voor stuk het onderzoek van Carman en haar collega’s onderuit halen. Het is teveel om hier allemaal te herhalen, maar het belangrijkste is misschien wel dat het gevonden ‘significante’ verschil hoogstwaarschijnlijk een toevalstreffer is. Alleen al omdat ze meer dan veertig zaken onderzochten, was het te verwachten dat minstens twee van die tests iets zouden opleveren met een p-waarde kleiner dan 0,05 ook als het verschil in voer niets uitmaakt. Er werd ook gevonden dat in de GM-vrije groep een stofje verhoogd was dat zou kunnen duiden op problemen met de lever, maar daar hoor je de auteurs niet over. Er zijn wel methoden om je tegen dit soort ‘cherry picking’ te beschermen, maar eigenlijk moet je van te voren gewoon goed beschrijven hoe je de statistische analyse gaat aanpakken.

Nu had het verschil in die maagonstekingsgraad wel een behoorlijk lagere p-waarde dan die standaardgrens van 0,05 namelijk 0,0044. Misschien is er dan toch iets aan de hand? Nou, zelfs als je ervan uit zou gaan dat de onderzoekers vooraf hadden bedacht dat dit de belangrijkste uitkomstwaarde zou zijn, blijkt het allemaal erg mee te vallen als je de statistiek goed doet. Want ook daar maken de onderzoekers een potje van.
De volgende tabel geeft het resultaat weer van beoordeling door de dierenartsen van de varkensmagen. Die hadden eerst een indeling in vier categorieën bepaald in een ander onderzoek en die hier blind toegepast.

GM-vrij voer GM-voer
geen ontsteking 4 8
lichte ontsteking 31 23
middelmatige ontsteking 29 18
ernstige ontsteking 9 23

Het totaal aantal varkens is wat lager dan eerder opgemerkt, 73 en 72 tegen 84 waarmee beide groepen startten. Er waren er namelijk al een stel gestorven voordat het einde van de testperiode bereikt was. Die sterfte is niet raar, maar wel meer dan je normaal gesproken kunt verwachten in een varkenshouderij. En dat roept ook weer vragen op. Maar nu even terug naar de statistiek. De onderzoekers vonden het verschil bij de ‘ernstige ontsteking’ toch wel opvallend. Ze gooiden nu al andere categorieën op een hoopje en kregen de volgende tabel:

GM-vrij voer GM-voer
geen ernstige ontsteking 64 49
ernstige ontsteking 9 23

Een significant verschil als je een Chi-kwadraattoets gebruikt (p=0,0044), maar diezelfde test had je ook kunnen doen zonder de lichtste categorieën bij elkaar te nemen. De p-waarde is dan iets minder indrukwekkend (p=0,011). Nog steeds significant als het de enige uitkomstwaarde van het onderzoek was geweest, maar met al die andere tests erbij, wordt het wat dubieus of we mogen spreken van een ‘verrassing’. Je zou natuurlijk ook ‘geen’ en ‘licht’ bij elkaar kunnen nemen en vergelijken met ‘middelmatig’ en ‘ernstig’; dan komt er niets bijzonders uit. Het heeft allemaal wat willekeurigs.
Het bijelkaar vegen van die categorieën heeft ook een ander bezwaar: het zijn categorieën die in een verhouding staan, het zijn meer dan labeltjes. Door de categorieën samen te voegen, gooi je informatie weg. Als je bijvoorbeeld in de eerste tabel de eerste en derde rij zou verwisselen, zie je een veel sterker verband tussen GM-voer en ontsteking; voor de in elkaar geschoven tabel maakt het echter niets uit. Een test (Wilcoxon) die er wel rekening meehoudt dat de categorie ‘licht’ een lagere ontstekingswaarde inhoudt dan ‘middelmatig’ laat geen significant verschil zien (p=0.281).
Er blijft dus niet zo veel van over, de skeptische statistici ook weer opgelucht. Maar het wordt eigenlijk nog erger als we Dr. Robert Friendship, een specialist op het gebied van de gezondheid van varkens, mogen geloven. Hij stelt dat de onderzoekers überhaupt niet hebben aangetoond dat er sprake was van maagontstekingen:

The researchers did a visual scoring of the colour of the lining of the stomach of pigs at the abattoir and misinterpreted redness to indicate evidence of inflammation. It does not. […] There is no relationship between the colour of the stomach in the dead, bled-out pig at a slaughter plant and inflammation.

De rode kleur zegt in dit geval dus helemaal niets. Ik hoop dat die nu wel heel erg verschijnt op de kaken van Carman en haar companen.

Via de volgende twee links van rbutr zijn de meest interessante blogs over deze kwestie wel te vinden: link1 en link2.