Det overdrevne løftet om såkalt uavhengig datautvinning


Nobelpristageren Richard Feynman spurte en gang sine Caltech-studenter om å beregne sannsynligheten for at hvis han gikk utenfor klasserommet, ville den første bilen på parkeringsplassen ha en spesiell nummerplate, si 6ZNA74. Forutsatt at hvert tall og brev er like sannsynlige og selvbestemte, anslår studentene sannsynligheten for å være mindre enn 1 i 17 millioner. Da elevene fullførte sine beregninger, avslørte Feynman at den riktige sannsynligheten var 1: Han hadde sett denne nummerplaten på vei inn i klassen. Noe ekstremt usannsynlig er ikke usannsynlig i det hele tatt hvis det allerede har skjedd.

Feynman-fange-ransacking data for mønstre uten forutinntatt ide om hva man ser etter – er Achilles-hælen av studier basert på data mining. Å finne noe uvanlig eller overraskende etter at det allerede har skjedd, er verken uvanlig eller overraskende. Mønstre er sikker på å bli funnet, og er sannsynligvis villedende, absurde eller verre.

I hans bestselgende 2001-bok God til stor, Sammenlignet Jim Collins 11 selskaper som hadde overgått det generelle aksjemarkedet de siste 40 årene til 11 selskaper som ikke hadde det. Han identifiserte fem kjennetegn som de vellykkede selskapene hadde til felles. "Vi startet ikke dette prosjektet med en teori for å teste eller bevise," spurt Collins. "Vi forsøkte å bygge en teori fra grunnen, avledet direkte fra bevisene."

Han gikk inn i Feynman-fellen. Når vi ser tilbake i tid hos en hvilken som helst gruppe av selskaper, det beste eller det verste, kan vi alltid finne noen vanlige egenskaper, så å finne dem viser ingenting i det hele tatt. Etter publisering av God til stor, har resultatet av Collins fantastiske 11 aksjer vært tydelig middelmådig: Fem aksjer har gjort bedre enn det generelle aksjemarkedet, mens seks har gjort verre.

I 2011 opprettet Google et kunstig intelligensprogram kalt Google Fluine som brukte søkeforespørsler for å forutsi influensautbrudd. Googles data mining program så på 50 millioner søk og identifiserte de 45 som var mest korrelert med forekomsten av influensa. Det er enda et eksempel på data-mining fellen: En gyldig studie vil spesifisere søkeordene på forhånd. Etter utstedelsen av rapporten har Google Flu overvurdert antall influensasaker i 100 av de neste 108 ukene, med gjennomsnittlig nesten 100 prosent. Google Flu gjør ikke lenger influensautsikt.

En internett markedsfører trodde det kunne øke inntekten ved å endre sin tradisjonelle blå nettside farge til en annen farge. Etter flere uker med tester, fant selskapet et statistisk signifikant resultat: Åpenbart elsker England teal. Ved å se på flere alternative farger for hundrevis av land garanterte de at de ville finne en inntektsøkning for noen farger for et land, men de hadde ingen anelse om tiden, om teal ville selge mer i England. Som det viste seg, da Englands nettsidefarge ble forandret til krigen, falt inntektene.

Et standard nevrovitenskapseksperiment innebærer å vise en frivillig i en MRI-maskin forskjellige bilder og stille spørsmål om bildene. Målingene er støyende, plukker opp magnetiske signaler fra miljøet og fra variasjoner i tetthet av fettvev i ulike deler av hjernen. Noen ganger savner de hjernens aktivitet; Noen ganger foreslår de aktivitet der det ikke finnes noen.

En Dartmouth-kandidatstudent brukte en MR-maskin for å studere hjernevirksomheten til en laks som det ble vist fotografier og stillte spørsmål. Det mest interessante ved studien var ikke at en laks ble studert, men at laksen var død. Ja, en død laks kjøpt på et lokalt marked ble satt inn i MR-maskinen, og noen mønstre ble oppdaget. Det var uunngåelig mønstre – og de var uendelig meningsløse.

I 2018 utgjorde en Yale økonomiprofessor og en kandidatstudent korrelasjoner mellom daglige endringer i Bitcoin-prisene og hundrevis av andre finansielle variabler. De fant at Bitcoin-prisene var positivt korrelert med aksjeavkastning i forbruksvarer og helsevesenet, og at de var negativt korrelert med aksjeavkastning i de industrielle produktene og metallindustrien. "Vi gir ikke forklaringer," sa professoren. "Vi dokumenterer bare denne oppførselen." Med andre ord kan de også se på korrelasjoner av Bitcoin-priser med hundrevis av lister over telefonnumre og rapporterte de høyeste korrelasjonene.

Direktøren for Cornell Universitys Food and Brand Lab forfattere (eller medforfatter) mer enn 200 peer-reviewed papers og skrev to populære bøker, som ble oversatt til mer enn 25 språk.

I et 2016 blogginnlegg med tittelen "The Grad Student Who Never Said No" skrev han om en doktorand som hadde fått data samlet inn på en italiensk buffé med alt du kan spise.

E-post korrespondanse oppdaget hvor professoren oppfordret studenten til å skille diners inn i "hanner, kvinner, lunsjer, middagspersoner, folk som sitter alene, folk som spiser med grupper på 2 personer, som spiser i grupper på 2+, folk som bestiller alkohol folk som bestiller brus, folk som sitter i nærheten av buffé, folk som sitter langt unna, og så videre … "Da kunne hun se på forskjellige måter som disse undergruppene kan variere:" # stykker pizza, # turer, fyllnivå av tallerkenen, fikk de dessert, de bestilte en drink og så videre … "

Han konkluderte med at hun skulle "jobbe hardt, klemme litt blod ut av denne steinen." Ved å aldri si nei, fikk studenten fire papirer (nå kalt "pizzapapirene") utgitt med Cornell-professoren som medforfatter. Det mest berømte papiret rapporterte at menn spiser 93 prosent mer pizza når de spiser sammen med kvinner. Det slutte ikke bra. I september 2018 konkluderte en Cornell-fakultetskomité at han hadde "begått akademisk mishandling i sin forskning." Han trådte opp, effektive i juni i fjor.

God forskning begynner med en klar ide om hva man ser etter og forventer å finne. Data mining bare ser etter mønstre og finner uunngåelig noen.

Problemet har blitt endemisk i dag fordi kraftige datamaskiner er så gode til å plundre Big Data. Data minearbejdere har funnet korrelasjoner mellom Twitter-ord eller Google-søk og kriminell aktivitet, hjerteinfarkt, aksjekurser, valgutfall, Bitcoin-priser og fotballkamp. Du tror kanskje jeg gjør disse eksemplene opp. Jeg er ikke.

Det er enda sterkere korrelasjoner med rent tilfeldige tall. Det er Big Data Hubris å tro at data-mined korrelasjoner må være meningsfylt. Å finne et uvanlig mønster i Big Data er ikke mer overbevisende (eller nyttig) enn å finne en uvanlig lisensplate utenfor Feynmans klasserom.

WIRED Opinion publiserer brikker skrevet av utenlandske bidragsytere og representerer et bredt spekter av synspunkter. Les flere meninger her. Send inn en op-ed på opinion@wired.com


Flere flotte WIRED-historier