AI-algoritmer er nå sjokkerende gode på å gjøre vitenskap


Ingen menneskelig eller team av mennesker, kan muligens fortsette med lavin av informasjon produsert av mange av dagens fysikk og astronomi eksperimenter. Noen av dem registrerer terabyte data hver dag – og strømmen øker bare. Square Kilometer Array, et radioteleskop slated for å slå på i midten av 2020-tallet, vil generere omtrent like mye datatrafikk hvert år som hele Internett.

Quanta Magazine


forfatterfoto

Handle om

Originalhistorie utgitt med tillatelse fra Quanta Magazine, en redaksjonelt uavhengig publikasjon av Simons Foundation, som har til formål å styrke den offentlige forståelsen av vitenskapen ved å dekke utviklingsutviklinger og trender innen matematikk og fysikk og biovitenskap.

Deluge har mange forskere vende seg til kunstig intelligens for hjelp. Med minimal menneskelig inntasting kan AI-systemer som kunstige nevrale nettverk – datasimulerte nettverk av nevroner som etterligner hjernens funksjon – pløye gjennom databerg, markere uregelmessigheter og oppdage mønstre som mennesker aldri kunne ha oppdaget.

Selvfølgelig går bruken av datamaskiner til hjelp i vitenskapelig forskning tilbake rundt 75 år, og metoden for å manuelt overføre data på jakt etter meningsfulle mønstre stammer fra årtusener tidligere. Men enkelte forskere hevder at de nyeste teknikkene i maskinlæring og AI representerer en fundamentalt ny måte å gjøre vitenskap på. En slik tilnærming, kjent som generativ modellering, kan bidra til å identifisere den mest plausible teorien blant konkurrerende forklaringer for observasjonsdata, basert utelukkende på dataene, og viktigere uten forprogrammert kunnskap om hvilke fysiske prosesser som kan være på jobb i systemet under studiet . Proponenter av generativ modellering ser det som roman nok til å bli betraktet som en potensiell "tredje vei" for å lære om universet.

Tradisjonelt har vi lært om naturen gjennom observasjon. Tenk på Johannes Kepler poring over Tycho Brahes bord med planetariske posisjoner og prøver å skille mellom det underliggende mønsteret. (Han til slutt utledet at planeter beveger seg i elliptiske baner.) Vitenskapen har også avansert gjennom simulering. En astronom kan modellere bevegelsen av Milky Way og den nærliggende galaksen, Andromeda, og forutsi at de vil kollidere om noen få milliarder år. Både observasjon og simulering hjelper forskere til å generere hypoteser som deretter kan testes med ytterligere observasjoner. Generativ modellering avviker fra begge disse tilnærmingene.

"Det er i utgangspunktet en tredje tilnærming, mellom observasjon og simulering," sier Kevin Schawinski, en astrofysiker og en av generative modellerings mest entusiastiske motstandere, som nylig arbeidet på det sveitsiske føderale institutt for teknologi i Zürich (ETH Zürich). "Det er en annen måte å angripe et problem på."

Noen forskere ser generativ modellering og andre nye teknikker rett og slett som kraftverktøy for å gjøre tradisjonell vitenskap. Men de fleste er enige om at AI har en enorm innvirkning, og at dens rolle i vitenskapen bare vil vokse. Brian Nord, en astrofysiker ved Fermi National Accelerator Laboratory som bruker kunstige nevrale nettverk for å studere kosmos, er blant de som frykter at det ikke er noe en menneskelig forsker gjør det som ikke er mulig å automatisere. "Det er litt av en chilling tanke," sa han.

Oppdagelse ved generasjon

Helt siden skolen har Schawinski gjort seg kjent med data-drevet vitenskap. Mens han jobbet med doktorgraden hans, møtte han oppgaven med å klassifisere tusenvis av galakser basert på deres utseende. Fordi ingen lett tilgjengelig programvare eksisterte for jobben, bestemte han seg for å kildesortere det – og så ble Galaxy Zoo borgerfagprosjektet født. Begynnelsen i 2007 hjalp alminnelige datamaskinbrukere astronomer ved å logge sine beste gjetninger om hvilken galakse som tilhørte kategorien, med flertalsregel som vanligvis fører til korrekte klassifiseringer. Prosjektet var en suksess, men som Schawinski notater har AI gjort det foreldet: "I dag kan en talentfull forsker med bakgrunn i maskinlæring og tilgang til cloud computing gjøre alt på en ettermiddag."

Schawinski forvandlet seg til det kraftige nye verktøyet for generativ modellering i 2016. I hovedsak spør generativ modellering hvor sannsynlig det er, gitt tilstand X, at du vil observere utfall Y. Tilnærmingen har vist seg å være utrolig kraftig og allsidig. For eksempel, anta at du mater en generativ modell et sett med bilder av menneskelige ansikter, med hvert ansikt merket med personens alder. Som dataprogrammet kammer gjennom disse "treningsdataene", begynner det å trekke sammen forbindelse mellom eldre ansikter og økt sannsynlighet for rynker. Til slutt kan det "alder" ethvert ansikt som det er gitt – det kan forutsi hvilke fysiske endringer et gitt ansikt i en hvilken som helst alder sannsynligvis vil gjennomgå.

Ingen av disse ansiktene er ekte. Ansikter i øverste rad (A) og venstre kolonne (B) ble konstruert av et generativt adversarielt nettverk (GAN) ved hjelp av byggeblokkelementer av ekte flater. GAN kombinerte deretter grunnleggende egenskaper av ansiktene i A, inkludert deres kjønn, alder og ansiktsform, med finere egenskaper av ansikter i B, for eksempel hårfarge og øyenfarge, for å lage alle ansiktene i resten av rutenettet.

De mest kjente generative modelleringssystemene er "generative adversarial networks" (GANs). Etter tilstrekkelig eksponering for treningsdata kan en GAN reparere bilder som har skadet eller manglende piksler, eller de kan gjøre skarpe fotografier skarpe. De lærer å utlede den manglende informasjonen ved hjelp av en konkurranse (derav begrepet "motstandsdyktig"): En del av nettverket, kjent som generatoren, genererer falske data, mens en andre del diskriminatoren forsøker å skille mellom falske data fra ekte data. Når programmet går, blir begge halvdelene gradvis bedre. Du har kanskje sett noen av de hyperrealistiske, GAN-produserte "ansiktene" som har sirkulert nylig – bilder av "freakish realistiske mennesker som ikke eksisterer," som en overskrift setter det.

I bredere grad tar generativ modellering datamengder (vanligvis bilder, men ikke alltid) og bryter hver av dem ned i et sett med grunnleggende, abstrakte byggeklosser – forskere refererer til dette som dataens "latente plass". Algoritmen manipulerer elementer av Det latente rommet for å se hvordan dette påvirker de opprinnelige dataene, og dette hjelper til med å avdekke fysiske prosesser som er på jobb i systemet.

Ideen om latent plass er abstrakt og vanskelig å visualisere, men som en grov analogi, tenk på hva hjernen din kan gjøre når du prøver å bestemme kjønn av et menneskelig ansikt. Kanskje du legger merke til frisyre, neseform og så videre, så vel som mønstre du ikke lett kan sette inn i ord. Dataprogrammet ligner på samme måte etter fremtredende funksjoner blant data: Selv om det ikke har noen anelse om hva en skjegg er, eller hvilket kjønn er det, hvis det har blitt trent på datasett hvor noen bilder er merket "mann" eller "kvinne" og hvor noen har en "overskred" -koden, den vil raskt utlede en forbindelse.

Kevin Schawinski, en astrofysiker som driver et AI-selskap som heter Modulos, hevder at en teknikk som heter generativ modellering, gir en tredje måte å lære om universet.

Der Beobachter

I et papir publisert i desember i Astronomi og astrofysikk, Schawinski og hans ETH Zürich kollegaer Dennis Turp og Ce Zhang brukte generativ modellering for å undersøke de fysiske endringene som galakser gjennomgår når de utvikler seg. (Programvaren de brukte behandler latent plass noe annerledes enn hvordan et generativt motstridende nettverk behandler det, så det er ikke teknisk en GAN, men liknende.) Modellen deres skapte kunstige datasett som en måte å teste hypoteser om fysiske prosesser. De spurte for eksempel hvordan «stopping» av stjernedannelse – en kraftig reduksjon i formasjonshastighetene – er relatert til den økende tettheten av en galakse miljø.

For Schawinski er nøkkelspørsmålet hvor mye informasjon om stjernar og galaktiske prosesser kunne bli plaget ut av dataene alene. «La oss slette alt vi vet om astrofysikk,» sa han. "I hvilken grad kan vi gjenoppdage den kunnskapen, bare ved å bruke dataene selv?"

Først ble galaksebildene redusert til deres latente rom; da kunne Schawinski tilpasse et element av dette rommet på en måte som korresponderte med en bestemt forandring i galaksenes miljø – for eksempel densiteten av omgivelsene. Deretter kunne han gjenopprette galaksen og se hvilke forskjeller som oppsto. "Så nå har jeg en hypoteseegenerasjonsmaskin," forklarte han. "Jeg kan ta en hel masse galakser som opprinnelig er i et lavt tetthet miljø og få dem til å se ut som om de er i et høy tetthet miljø, ved denne prosessen." Schawinski, Turp og Zhang så det som galakser går fra lav-til høy tetthet miljøer, de blir rødere i farge, og deres stjerner blir mer sentralt konsentrert. Dette samsvarer med eksisterende observasjoner om galakser, sa Schawinski. Spørsmålet er hvorfor dette er slik.

Det neste trinnet, sier Schawinski, har ikke blitt automatisert: "Jeg må komme inn som et menneske, og si," OK, hva slags fysikk kan forklare denne effekten? "" For prosessen i spørsmålet er det to troverdige Forklaringer: Kanskje galakser blir redder i høy tetthet miljøer fordi de inneholder mer støv, eller kanskje blir de redder på grunn av en nedgang i stjernedannelse (med andre ord, deres stjerner pleier å være eldre). Med en generativ modell kan begge ideene bli testet: Elementer i latent rom relatert til støvdannelse og stjernedannelseshastigheter endres for å se hvordan dette påvirker galaksenes farge. "Og svaret er klart," sa Schawinski. Redder galakser er "der stjernedannelsen hadde falt, ikke de der støvet endret seg. Så vi burde favorisere den forklaringen. "

Ved hjelp av generativ modellering kan astrofysikere undersøke hvordan galakser endrer seg når de går fra lavdensitetsregioner i kosmos til høydensitetsregioner, og hvilke fysiske prosesser er ansvarlige for disse endringene.

Tilnærmingen er relatert til tradisjonell simulering, men med kritiske forskjeller. En simulering er "hovedsakelig antagelsesdrevet," sa Schawinski. "Tilgangen er å si," Jeg tror jeg vet hva de underliggende fysiske lover er som gir opphav til alt jeg ser i systemet. "Så jeg har en oppskrift på stjernedannelse, jeg har en oppskrift på hvor mørkt materie oppfører seg, og så videre. Jeg legger alle mine hypoteser der inne, og jeg la simuleringen løpe. Og så spør jeg: Ser det ut som virkeligheten? "Det han har gjort med generativ modellering, sa han, er" på en eller annen måte akkurat det motsatte av en simulering. Vi vet ingenting; Vi ønsker ikke å anta noe. Vi vil at dataene selv skal fortelle oss hva som kan skje. "

Den tilsynelatende suksessen med generativ modellering i en studie som dette betyr åpenbart ikke at astronomer og studenter har blitt overflødige – men det ser ut til å representere et skifte i graden til hvilken læring om astrofysiske objekter og prosesser kan oppnås ved en kunstig system som har lite mer på sine elektroniske fingertupper enn et stort databasseng. "Det er ikke fullt automatisert vitenskap, men det demonstrerer at vi i det minste delvis kan bygge verktøyene som gjør prosessen med vitenskap automatisk," sa Schawinski.

Generativ modellering er tydelig kraftig, men om det virkelig representerer en ny tilnærming til vitenskapen, er det åpen for debatt. For David Hogg, en kosmolog ved New York University og Flatiron Institute (som, som Quanta, finansieres av Simons Foundation), teknikken er imponerende, men til slutt bare en svært sofistikert måte å utvinne mønstre fra data-som er det astronomer har gjort i århundrer. Med andre ord er det en avansert form for observasjon og analyse. Hoggs eget arbeid, som Schawinski, leter tungt på AI; han har brukt neurale nettverk til å klassifisere stjerner i henhold til deres spektra, og å utlede andre fysiske attributter av stjerner ved hjelp av data-drevne modeller. Men han ser sitt arbeid, så vel som Schawinski, som en prøvd og sann vitenskap. "Jeg tror ikke det er en tredje vei," sa han nylig. "Jeg tror bare at vi som samfunn blir langt mer sofistikerte om hvordan vi bruker dataene. Spesielt får vi mye bedre å sammenligne data med data. Men etter min mening er arbeidet mitt fortsatt i observasjonsmodus. "

Hardarbeidende assistenter

Enten de er konseptuelle roman eller ikke, er det klart at AI og nevrale nettverk har kommet for å spille en kritisk rolle i moderne astronomi og fysikkforskning. Ved Heidelberg Institutt for teoretiske studier leder fysikeren Kai Polsterer astroinformatikgruppen – et team av forskere fokusert på nye datasentre for astrofysikk. Nylig har de brukt en maskinlæringsalgoritme for å trekke ut redshiftinformasjon fra galaksdatasett, en tidligere vanskelig oppgave.

Polsterer ser disse nye AI-baserte systemene som "hardt arbeidende assistenter" som kan kamma gjennom data i flere timer uten å bli kjedelig eller klage over arbeidsforholdene. Disse systemene kan gjøre alt det kjedelige gruntarbeidet, sa han, og la deg "for å gjøre den kule, interessante vitenskapen alene."

Men de er ikke perfekte. Spesielt advarsler Polsterer, at algoritmen bare kan gjøre det de har blitt trent til å gjøre. Systemet er "agnostisk" angående inngangen. Gi den en galakse, og programvaren kan estimere redshiftet og dets alder – men gi det samme systemet en selfie, eller et bilde av en råtnende fisk, og det vil også gi en (veldig feil) alder for det. Til slutt forblir tilsyn av en menneskelig forsker viktig, sa han. "Det kommer tilbake til deg, forskeren. Du er den som har ansvaret for å gjøre tolkningen. "

For hans del, Nord, i Fermilab, advarer det om at det er avgjørende at nevrale nettverk leverer ikke bare resultater, men også feilbarer for å gå sammen med dem, som alle grunnskoler er opplært til å gjøre. I vitenskapen, hvis du lager en måling og ikke rapporterer et estimat av den tilknyttede feilen, vil ingen ta resultatene seriøst, sa han.

Nord er også, som mange AI-forskere, bekymret for ugjennomtrengelighet av resultater produsert av nevrale nettverk; ofte leverer et system et svar uten å gi et klart bilde av hvordan resultatet ble oppnådd.

Ikke alle føler at mangel på gjennomsiktighet nødvendigvis er et problem. Lenka Zdeborová, forsker ved Institutt for teoretisk fysikk ved CEA Saclay i Frankrike, påpeker at menneskelige intuksjoner ofte er like ugjennomtrengelige. Du ser på et fotografi og kjenner igjen en katt – "men du vet ikke hvordan du vet," sa hun. "Din egen hjerne er på en eller annen måte en svart boks."

Det er ikke bare astrofysikere og kosmologer som migrerer mot AI-drevet, data-drevet vitenskap. Kvantfysikere som Roger Melko fra Perimeter Institute for Theoretical Physics og University of Waterloo i Ontario har brukt nevrale nettverk for å løse noen av de tøffeste og viktigste problemene på dette feltet, for eksempel hvordan man representerer den matematiske "bølgefunksjonen" som beskriver en mange-partikkelsystem. AI er viktig på grunn av hva Melko kaller "eksponensiell forbannelse av dimensionalitet." Dvs. mulighetene for form av en bølgefunksjon vokser eksponentielt med antall partikler i systemet som beskrives. Sværheten ligner på å prøve å utdanne det beste flyet i et spill som sjakk eller Go: Du prøver å gå til neste skritt, forestille deg hva motstanderen din vil spille, og velg deretter det beste svaret, men med hvert trekk Antall muligheter sprer seg.

Selvfølgelig har AI-systemer behersket begge disse spill-sjakkene, tiår siden, og gå i 2016, da et AI-system kalt AlphaGo beseiret en topp menneskelig spiller. De er tilsvarende egnet til problemer i kvantfysikk, sier Melko.

Maskinens sinn

Hvorvidt Schawinski har rett til å hevde at han har funnet en "tredje vei" for å gjøre vitenskap, eller om, som Hogg sier, er det bare tradisjonell observasjon og dataanalyse "på steroider", er det klart at AI endrer smaken av vitenskapelig funn, og det er sikkert akselerere det. Hvor langt vil AI-revolusjonen gå i vitenskapen?

Noen ganger gjøres store krav til prestasjoner fra en "robo-vitenskapsmann." For et tiår siden, undersøkte en AI-robotkjemiker ved navn Adam atgenet av bakersgær og arbeidet ut hvilke gener som er ansvarlige for å lage bestemte aminosyrer. (Adam gjorde dette ved å observere stammer av gjær som hadde visse gener manglet, og sammenligne resultatene til oppførselen av stammer som hadde gener.) Wired'S overskrift leser, "Robot gjør Vitenskapelig Discovery All By Self."

Mer nylig har Lee Cronin, en kjemiker ved Universitetet i Glasgow, brukt en robot til å tilfeldigvis blande kjemikalier for å se hva slags nye forbindelser som dannes. Overvåking av reaksjonene i sanntid med et massespektrometer, en kjernefysisk resonansmaskin og et infrarødt spektrometer, lærte systemet til slutt å forutsi hvilke kombinasjoner som ville være mest reaktive. Selv om det ikke fører til ytterligere funn, har Cronin sagt at robotsystemet kunne tillate kjemikere å øke sin forskning med rundt 90 prosent.

I fjor brukte et annet team av forskere ved ETH Zürich nevrale nettverk til å utlede fysiske lover fra datasett. Deres system, en slags robo-Kepler, gjenoppdaget den heliocentriske modellen til solsystemet fra opptegnelser om solens og Mars-himmelens stilling, sett fra Jorden, og funnet ut loven om bevaring av momentum ved å observere kolliderende baller . Siden fysiske lover ofte kan uttrykkes på flere måter, spør forskerne om systemet kan tilby nye måter, kanskje enklere måter å tenke på kjente lover.

Dette er alle eksempler på at jeg starter prosessen med vitenskapelig funn, men i alle tilfeller kan vi diskutere hvor revolusjonerende den nye tilnærmingen er. Kanskje mest kontroversielle er spørsmålet om hvor mye informasjon som kan hentes fra data alene – et pressespørsmål i en alder av stupendously store (og voksende) hauger av det. I Boken av hvorfor (2018) hevder datavitenskaperen Judea Pearl og forskerforfatteren Dana Mackenzie at dataene er "dypt dumme." Spørsmål om kausalitet "kan aldri besvares av data alene," skriver de. "Når du ser et papir eller en studie som analyserer dataene på en modellfri måte, kan du være sikker på at utgangen av studien bare vil oppsummere, og kanskje omdanne, men ikke tolke dataene." Schawinski sympatiserer med Pearl posisjon , men han beskrev ideen om å jobbe med "data alene" som "litt av en halmmann". Han har aldri hevdet å utlede årsak og virkning på den måten, sa han. "Jeg sier bare at vi kan gjøre mer med data enn vi ofte gjør konvensjonelt."

Et annet ofte hørt argument er at vitenskap krever kreativitet, og det – i hvert fall så langt – vi har ingen anelse om hvordan å programmere det inn i en maskin. (Bare prøver alt, som Cronins robo-kjemiker, virker ikke spesielt kreativ.) "Å komme opp med en teori, med resonnement, tror jeg krever kreativitet," sa Polsterer. "Hver gang du trenger kreativitet, trenger du et menneske." Og hvor kommer kreativitet fra? Polsterer mistenker at det er relatert til kjedsomhet – noe som, sier han, en maskin ikke kan oppleve. "For å være kreativ må du ikke lide å bli kjedelig. Og jeg tror ikke at en datamaskin vil føle seg kjedelig. "På den annen side har ord som" kreativ "og" inspirert "ofte blitt brukt til å beskrive programmer som Deep Blue og AlphaGo. Og kampen for å beskrive hva som skjer inne i "tankene" til en maskin, er speilet av vanskeligheten vi har i å undersøke våre egne tankeprosesser.

Schawinski forlot nylig akademia for privat sektor; han driver nå en oppstart som heter Modulos, som sysselsetter en rekke ETH-forskere, og ifølge sin nettside virker "i stormens øyne av utviklingen i AI og maskinlæring." Uansett hindringer kan ligge mellom dagens AI-teknologi og fullverdige kunstige sinn, føler han og andre eksperter at maskiner er klare til å gjøre mer og mer av arbeidet til menneskelige forskere. Om det er en grense, er det fortsatt å se.

"Vil det være mulig, i overskuelig fremtid, å bygge en maskin som kan oppdage fysikk eller matematikk som de lysteste menneskene i live ikke klarer å gjøre på egen hånd, ved hjelp av biologisk maskinvare?" Schawinski undrer seg. "Vil fremtidens vitenskap nødvendigvis bli drevet av maskiner som opererer på et nivå som vi aldri kan nå? Jeg vet ikke. Det er et godt spørsmål. "

Originalhistorie utgitt med tillatelse fra Quanta Magazine, en redaksjonelt uavhengig publikasjon av Simons Foundation, som har til formål å styrke den offentlige forståelsen av vitenskapen ved å dekke utviklingsutviklinger og trender innen matematikk og fysikk og biovitenskap.


Flere flotte WIRED-historier