8.12 Holdout-sæt, blinding, nulkontroller og replikation på tværs af pipelines: Sådan forhindrer vi, at EFT blot bliver en teori, der kan fortælle historier

1. Afsnittets konklusion

Dette afsnit tilføjer ikke endnu en afgørelseslinje på objektniveau. Det, det tilføjer, er et sæt mere nøgterne, hårdere og mindre behagelige regler for prøvningen. Hvis EFT fortsat vil bogføre rødforskydningsresidualerne, lukningen på det fælles basiskort, den strukturelle lagdeling, de fine træk nær horisonten, tærsklerne i grænseenhederne og kvanteværnene fra 8.4 til 8.11 som »støtte«, må teorien først acceptere fire fælles værn: Holdout-sæt må ikke bruges til at efterjustere kriterierne; blinding må ikke omgås ved at kigge på facit; nulkontroller må ikke være lige så signifikante som hovedresultatet; og replikation på tværs af pipelines må ikke lade én enkelt analysevej monopolisere sandheden. Uden disse fire porte kan bind 8 være nok så medrivende og stadig blot være en fortælling med stor forklaringskraft. Først når portene er passeret, begynder EFT at ligne en kandidatteori, der er villig til at lade sig prøve.

2. Efter objektniveauet skal der også være en overordnet metodologisk port

Afsnit 8.4 til 8.11 har allerede lagt alle de arenaer på objektniveau på bordet, hvor EFT helst vil vinde og lettest kan komme til skade: den dispersionsfri fællesterm på tværs af observationsprober, TPR-hovedaksen og PER-residualerne, det fælles basiskort for rotation, gravitationslinser og sammensmeltninger, strukturdannelse, det kosmiske negativ og miljøtomografien, fine træk nær horisonten og særprægede signaturer ved grænsen, grænseenheder og stærkfeltvakuum samt kvanteudbredelse og ikke-kommunikationsværnet. Det er ikke nok blot at skrive, »hvad der måles«, »hvilke resultater der tæller som støtte«, og »hvilke resultater der påfører strukturel skade«. EFT's sprog har i sig selv stor forklaringskraft, og det farligste for en teori med stor forklaringskraft er ikke mangel på eksempler, men at alle eksempler kan bringes til at passe bagefter, når der er nok af dem.

Der mangler stadig én overordnet port: Ethvert resultat, der skal give point, må først dokumentere, at det blev opnået under de samme metodologiske værn. Først da kan det samlede regnskab skelne mellem direkte støtte, opstramning og strukturel skade. Ellers bliver regnskabet let en efterrationaliseret liste over nøje udvalgte succeser.

3. Afsnittet tilføjer ingen ny forsøgsfamilie, kun disciplinen for prøvningen

Dette afsnit skal ikke forvandles til en lærebog i statistik. Det ville tage varmen ud af bind 8, gøre det teknisk på den forkerte måde og fjerne det fra dets egentlige opgave. 8.12 skal ikke undervise læseren i træningssæt, testsæt, signifikans, Bayes-faktorer eller modelgennemsnit. Det skal gøre én mere ubekvem ting: vise, hvordan EFT kan undgå at bedrage sig selv.

De fire regler i 8.12 er derfor ikke isolerede tekniske greb. De udfolder én samlet disciplin: Fastfrys kriterierne på forhånd; bagefter må der kun bogføres, og målstolperne må ikke flyttes. Hvordan stikprøven udvælges, hvilke objekter der indgår i hovedstikprøven, hvilke frekvensbånd eller rødforskydningslag der alene reserveres som holdout, hvilke miljøindikatorer der må indgå i hovedanalysen, hvilke eksklusionsregler der gælder, og hvilke scoringsregler der tæller som en træffer, skal være skrevet ned, før hovedresultatet ses. Uden dette trin bliver holdout-sættet gradvist brugt op, blindingen bliver teater, de letteste nulkontroller bliver udvalgt, og replikation på tværs af pipelines ender som »den samme bias kørt igennem to gange«.

Det er lige så vigtigt at adskille rollerne. Mange af forsøgene og observationerne i bind 8 egner sig naturligt til en fælles struktur: Forudsigelsesgruppen offentliggør alene ud fra miljø, geometri og fastlåste proxyer et forudsigelseskort; målegruppen udtrækker aflæsningerne uden at kende kortets indhold; og afgørelsesgruppen sammenholder til sidst forudsigelser og resultater efter den præregistrerede resultattavle. Ikke alle afgørelseslinjer skal mekanisk kopiere disse tre grupper, men strukturen fastholder afsnittets vigtigste pointe: Forudsigelsen skal komme før det flotte plot, og reglerne før den overbevisende fortælling.

4. Første værn: Holdout-sæt – resultaterne må ikke bruges til at efterjustere kriterierne

I 8.12 er et holdout-sæt ikke blot en mild kontrol af generalisering. Det er en kniv, der specifikt skal afskære bagudrettet tilpasning. EFT's mest nærliggende fejl er ikke, at teorien slet ikke ser et signal, men at den efter at have set en svag retning bliver ved med at justere stikprøven, miljøinddelingen, tærsklen, baggrundsdefinitionen og model- eller tilpasningsfamilien, indtil den svage retning er vokset til et flot plot. Holdout-sættet skal lukke denne flugtvej: Kriterierne må fastlægges i træningsdelen, men den reserverede del må ikke hentes tilbage for at reparere det, der allerede er blevet sagt.

I den kosmologiske del kan et holdout-sæt være et reserveret rødforskydningsvindue, en kildeklasse, et himmelfelt, en bestemt dataudgivelse fra et survey eller endda en hel uafhængig afstandskæde. I den ekstreme kosmologi kan det bestå af bestemte objekter, epoker, azimutsektorer, sammensmeltende hobe eller miljøniveauer. I laboratorie- og kvantedelen kan det være et parameterinterval, en materialetype, et apparat eller en gruppe scanningsniveauer nær en tærskel, hvis etiketter ikke er offentliggjort. Formerne kan variere, men disciplinen er én og den samme: Holdout-data må kun verificere, aldrig føres tilbage til parameterjusteringen.

Et holdout-resultat giver ikke reelt EFT point, blot fordi en tendens, der allerede blev set i træningssættet, stadig »ligner lidt« i den reserverede del. Det afgørende er, at retningen ikke vender, rangordningen ikke falder fra hinanden, og kriterierne ikke ændres. Hvis fællestermen i 8.4 virkelig er en dispersionsfri grundfarve, skal den i et reserveret frekvensbånd, hændelsesvindue eller ved en reserveret station som minimum bevare den samme retning og det samme tidsvindue. Hvis TPR-hovedaksen i 8.5 virkelig opsuger grundfarven, bør den fælles α ikke straks skulle omskrives i en reserveret kildeklasse eller et reserveret himmelfelt. Og hvis det fælles basiskort i 8.6 ikke er en mosaik af enkelttilfælde, bør det fastlåste kort ikke kræve et nyt sæt lapper, så snart det anvendes på holdout-objekter. Vender tendensen derimod, opløses rangordningen, eller kræves der en ny stikprøve, er den ikke længere en hovedkonklusion, men kun et spor.

Én ting må siges helt klart: Holdout-sættet må ikke kun bestå af »den del, der lettest kan bestå«. Hvis teorien gemmer de reneste, mest velkendte og mest bekvemme data til sidst, mens højrisikoområder på himlen, vanskelige frekvensbånd, komplekse objekter og parameterintervaller nær tærsklen allerede er blevet prøvet igen og igen i træningsdelen, er holdout-sættet forurenet. Et reelt holdout-sæt bør bevidst rumme de enheder, der mest sandsynligt kan vælte påstanden, for målet med bind 8 er ikke at hæve vinderprocenten, men at gøre betingelserne for sejr og nederlag skarpe.

5. Andet værn: Blinding – lad forudsigelsen tale før det flotte plot

Blindingens værdi ligger ikke i, at proceduren formelt ser »mere videnskabelig« ud. Den ligger i, at teorien tvinges til at formulere det, den virkelig sætter på spil, før resultatet er kendt. EFT har mange steder, hvor en forklaring let kan føjes til efter at figuren er set: Fællestermen ligner en miljøforstærkning, og derfor siges det, at miljøforstærkning hele tiden var forventet. En bias ser ud til kun at være stærk i knudepunktsmiljøer, og derfor siges det, at skelettet naturligvis måtte virke sådan. En platform viser et plateau efter tærsklen, og derfor siges det, at dette netop ligner en diskret tærskelstruktur. Hvis disse udsagn ikke er skrevet før resultatet ses, er de ikke forudsigelser, men retorik i bakspejlet.

Den blinding, som 8.12 kræver, er derfor mere end at skjule filnavne eller randomisere stikprøveetiketterne. For EFT er en struktureret blinding efter mønsteret forudsigelse – måling – afgørelse vigtigere. I forudsigelsesfasen må teorien alene ud fra fastlåste miljøindikatorer, geometriske oplysninger, materialeparametre eller historiske regnskaber angive på et forudsigelseskort, hvilket niveau der bør være stærkere eller svagere, om retningen bør være den samme eller modsat, om signalet skal være dispersionsfrit, og om det skal fremtræde i det samme tidsvindue. I målefasen må de, der udtrækker signalet, ikke kende kortets indhold. I afgørelsesfasen optæller en tredjepart træffere, træffere med forkert fortegn og nultræffere efter de fastlåste regler. Først da sætter EFT faktisk noget reelt på spil.

Blinding kan se meget forskellig ud i de forskellige dele. I 8.4 og 8.5 kan miljølagdelingen og kildeklasserne blindes. I 8.6 til 8.9 kan det gælde skelettets retningsfelt, sammensmeltningsfasen, niveauet for kolde pletter, azimutskabeloner nær horisonten eller objektklassifikationen. I 8.10 og 8.11 er det mere oplagt at blinde materialepartier, tærskelniveauer, drivsekvensen, klassifikationen af forbindelsens renhed og endda, om et punkt ligger i et reserveret parameterinterval. Det afgørende er ikke én fælles form, men én fælles disciplin: Sig først, hvad der vil ske, og se derefter, om det skete – ikke omvendt: Se først, hvad der skete, og sig bagefter, at man hele tiden vidste det.

Blinding har endnu en værdi, som let overses: Den tvinger EFT til at skelne mellem fremadrettet forudsigelighed og efterrationaliseret forklarlighed. På papiret kan begge dele ligne en træffer, men deres videnskabelige status er helt forskellig. Den første sætter noget på spil, før resultatet foreligger; den anden finder efterfølgende en syntaks, som resultatet kan rummes i. 8.12 skal beskytte den første, for kun den kan ændre teoriens reelle odds.

6. Tredje værn: Nulkontroller – forveksl ikke artefakter med ny fysik

Mange af EFT's afgørelseslinjer leder efter »svage, men regelbundne« strukturer: en dispersionsfri fællesterm, monoton miljøafhængighed, skalering ved samme position, et plateau efter tærsklen, fremadrettede træffere og et fælles basiskort på tværs af observationsprober. Netop fordi signalerne ofte ikke er overvældende i deres samlede størrelse, men snarere viser sig som rangordning, fortegn, samme tidsvindue, residualer og lagdeling, kan de let blive fremstillet i det skjulte af systematik, selektionsfunktioner, kalibreringsdrift, skabelonbias og vaner i analysekæden. Nulkontrollerne er den domstol, der er indrettet specifikt til disse artefakter.

Tilstrækkeligt hårde nulkontroller skal mindst omfatte to typer.

Nulkontroller er ikke statister og må ikke gennemføres pro forma i et appendiks. Hvis tidsvending, ombytning af frekvensbånd og dispersionskontroller i 8.4 ligeledes kan frembringe en fællesterm med nul tidsforskydning, kan hovedresultatet ikke stå. Hvis tilsyneladende kollinearitet og et fælles basiskort i 8.6 og 8.7 overlever, når skelettet roteres tilfældigt eller basiskortet forstyrres, ligner resultatet snarere algoritmisk bias. Hvis de fine træk nær horisonten i 8.9 er lige signifikante, når billeddannelsens definitioner og skabelonretningen ændres, lever den særprægede signatur af behandlingskæden. Og hvis surrogatopstillinger, falske belastninger, tomme resonatorer, afbrudt klassisk afstemning eller kunstige tærskelkontroller i 8.10 og 8.11 giver det samme »nye signal«, cirkulerer den påståede nye fysik blot inde i instrumentet. Kan hovedresultatet ikke bevare sin specificitet over for nulkontrollerne, kan det ikke opgraderes til støtte.

Ud over nulkontrollerne skal der være positive kontroller. Processen skal ikke alene fejle korrekt, når »EFT-strukturen« mangler; den skal også lykkes korrekt, når en kendt struktur indsprøjtes, eller kendt fysik bør fremtræde. Hvis en pipeline hverken kan bryde et artefakt op eller genfinde et kendt signal, kan dens hovedresultat ikke give point. Nulkontrollerne i bind 8 er derfor ikke blot nedbrydende. De fastlåser på én gang, at processen skal lykkes, når den bør lykkes, og fejle, når den bør fejle.

7. Fjerde værn: Replikation på tværs af pipelines – ingen enkelt analysevej må monopolisere sandheden

En af de farligste sejre i bind 8 er en sejr, der forsvinder, så snart data behandles ad en anden vej. Mange af de størrelser, EFT interesserer sig for, afhænger i forvejen af komplicerede udtrækningskæder: Hvordan trækkes baggrunden fra? Hvordan udledes skelettet? Hvordan udføres linseinversionen? Hvordan rekonstrueres ringbilledet? Hvordan identificeres tærsklen? Hvordan tidsstemples de rå datastrømme? Hvordan adskilles støj og efterselektion i regnskabet? Hvis blot ét af disse led i høj grad afhænger af et bestemt forskerholds standardvaner, kan et flot resultat fra én pipeline aldrig automatisk ophøjes til en fysisk konklusion.

Replikation på tværs af pipelines betyder derfor ikke, at den samme kode køres to gange med to forskellige tilfældighedsfrø. Den kræver reel uafhængighed: uafhængige præprocesseringskæder, baggrundsmodeller, metoder til rekonstruktion af skelet eller billede, tilpasningsfamilier og kalibreringsveje – helst suppleret med uafhængige forskerhold, institutioner og hardwareversioner. For astronomiske data betyder det, at dataprodukter fra forskellige surveys, billeddannelses- eller inversionspipelines og samlinger af makromodeller skal give konklusioner med samme retning. For laboratoriedata betyder det, at forskellige apparater, kontrolprogrammer, dataindsamlingssystemer og efterbehandlingskæder ikke vilkårligt må vende resultatet.

EFT behøver ikke, at alle pipelines giver numerisk identiske svar. Teorien har brug for noget mere enkelt og vanskeligere at forfalske: samme hovedfortegn, samme hovedrangordning og samme hovedstruktur. Hvis et signal kun eksisterer med én bestemt baggrundssubtraktion, én bestemt regularisering i rekonstruktionen, ét bestemt skabelongrundlag eller ét bestemt efterselektionsvindue og falder fra hinanden, så snart en anden rimelig pipeline anvendes, bør bind 8 ikke kalde det »omstridt, men meget lovende«. Den ærlige formulering er: »Foreløbig er dette kun et spor, der afhænger af behandlingskæden.«

Til sidst kræver replikation på tværs af pipelines åbne regnskaber og mulighed for genberegning. Ikke alle forskerhold behøver straks at offentliggøre hver eneste mellemfil uden forbehold, men eksterne efterprøvere skal som minimum kunne se de afgørende beslutningspunkter: Hvilke stikprøver blev udelukket? Hvilke parametre blev fastlåst? Hvilke holdout-enheder blev ikke berørt? Hvilke nulkontroller fejlede? Hvilke uafhængige pipelines var uenige? Hvis disse regnskaber kun findes hos det oprindelige hold, bliver det vanskeligt for omverdenen at skelne mellem »et komplekst fænomen« og »en kompleks proces«.

8. Hvorfor de fire værn skal virke parallelt – ikke hver for sig som formaliteter

Holdout uden blinding gør det muligt først at se tendensen og derefter omhyggeligt vælge et »rimeligt« holdout-sæt. Blinding uden nulkontroller kan forhindre et kig på facit, men stadig gøre et systematisk artefakt til en overraskelse. Nulkontroller uden replikation på tværs af pipelines kan lade den samme bias følge både hovedresultatet og kontrollen gennem én analysevej. Og replikation på tværs af pipelines uden holdout kan få flere hold til i fællesskab at overtilpasse træningssættet, til det næsten ligner et orakel. De fire værn er ikke fire dekorative dele, men én kæde.

Derfor må 8.12 udtrykkeligt afvise en almindelig kompensationslogik: »Vi havde ikke et holdout-sæt, men vi blindede; nulkontrollerne var ikke stærke, men pipelines var nogenlunde enige; der findes endnu ingen uafhængig replikation, men træningssættet ser fantastisk ud.« Denne pointtælling kan fungere i en præsentation, men er et regelbrud i en audit. Bind 8 forsøger ikke at vinde en samlet karakter for et godt indtryk. Det spørger, om EFT kan blive stående under de mest ugunstige regler. Hvis én afgørende port ikke er passeret, kan en flot præstation ved en anden port ikke bruges som kompensation.

9. Sådan føres de fire værn ned i 8.4 til 8.11

I 8.4 og 8.5 skal de fire værn først og fremmest forhindre, at »fællestermen« og TPR/PER-regnskabet sys sammen bagefter. Holdout-sættet bør her reservere kildeklasser, himmelfelter, frekvensbånd og hændelsesvinduer. Blindingen kræver, at forudsigelseskortet for miljøet og reglerne for fordelingen mellem hovedstørrelse og residualer fastfryses. Nulkontrollerne bør prioritere surrogatmodeller for dispersionslove, tidsvending samt permutation af etiketter og stationer. Replikation på tværs af pipelines skal som minimum omfatte behandlingskæderne for rødforskydning og tidsforsinkelse, uafhængige afstandskæder og pipelines til modellering af gravitationslinser. Mangler disse værn, glider 8.4 og 8.5 let tilbage til »den figur ligner også noget, og den næste kan også forklares«.

I 8.6 til 8.9 skal de fire værn forhindre, at »det fælles basiskort, skelettets retning, fine træk nær horisonten og særprægede signaturer ved grænsen« bliver til ren billedfortolkning. Holdout-sættet bør her i højere grad bestå af reserverede objekter, epoker, rødforskydningslag, sammensmeltningsfaser og synslinjeenheder. Blinding kan lægges over skelettets retningsfelt, miljøniveauer, azimutskabeloner, objektklassifikation og forudsigelseskort for de særprægede signaturer. Nulkontrollerne bør især omfatte rotation af skabeloner, tilfældige skeletter og masker, kontroller uden for aksen, falske varme og kolde pletter, forskydning og resampling. Replikation på tværs af pipelines kræver, at forskellige skeletalgoritmer, masserekonstruktioner, billeddannelsesmetoder og kæder til udtrækning af tidsforsinkelser alle giver konklusioner med samme retning.

I 8.10 og 8.11 må de fire værn slet ikke løsnes. Laboratoriedelen er særlig udsat for den falske sejr: »Signalet er flot, men eksisterer kun i dette apparat og dette behandlingsscript.« Holdout-sættet kan her være et helt parameterinterval, en materialetype, et apparat eller et helt produktionsparti af chips. Blinding kan lægges over tærskelniveauer, materialeetiketter, drivsekvensen og klassifikationen af forbindelsens renhed. Nulkontrollerne skal omfatte surrogatopstillinger, tomme resonatorer, falske belastninger, omvendt polaritet, afbrudte forbindelser, tidsmæssige fejlparringer samt indsprøjtning og genfinding. Replikation på tværs af pipelines bør helst udvides til flere institutioner, hardwareplatforme og kontrolprogrammer; især bør rådataregnskabet og regnskabet for efterselektion kunne efterprøves ad to uafhængige veje. Først da undgår bind 8 at omskrive en tilfældighed i ingeniørarbejdet til en ny kvalifikation for EFT.

10. Hvilke metodologiske resultater giver reelt støtte til EFT?

Fra 8.12’s synspunkt støttes EFT ikke af, at en bestemt objektklasse »ser mere EFT-agtig ud«. Reel støtte kræver, at EFT efter at have accepteret de mest ugunstige regler stadig opnår strukturelle træffere på flere afgørelseslinjer. Konkret bør mindst følgende forhold optræde samtidig:

Hvis disse betingelser ikke blot holder på én isoleret og smal linje, men samtidig i flere familier fra 8.4 til 8.11, begynder EFT for første gang reelt at frigøre sig fra den farligste vurdering: at den blot er en teori, der »kan fortælle gode historier«. Det betyder, at teorien ikke alene kan forklare objekter, men også er villig til at lade metodikken begrænse sin forklaringsret – og at der stadig er noget tilbage efter begrænsningen.

Metodologisk støtte har desuden flere niveauer. På det svageste niveau bryder et resultat blot ikke sammen ved værnene. På et stærkere niveau bliver det stående og viser samtidig en firedobbelt lukning med fremadrettede træffere, robusthed i holdout-sættet, adskillelse fra nulkontrollerne og samme retning på tværs af forskerhold. Det er det sidste niveau, bind 8 har brug for. Det første viser kun, at EFT endnu ikke er blevet grebet i en procedurefejl; det andet viser, at teorien begynder at opnå troværdighed i selve proceduren.

11. Hvilke resultater betyder kun opstramning, ikke øjeblikkelig udelukkelse?

Ikke alle metodologiske vanskeligheder sender straks EFT tilbage til en fuld omskrivning. Nogle resultater kræver opstramning snarere end kassation.

12. Hvilke resultater vil påføre EFT direkte strukturel skade?

En ofte undervurderet form for metodologisk strukturel skade er, at reglerne hele tiden ændres, efter at resultaterne foreligger. I dag tæller samme retning, i morgen rangordningen, og i overmorgen kun en delstikprøve fra stærke miljøer. I dag er to pipelines nok; i morgen, når de er uenige, erklæres kun den ene for troværdig. I dag reserveres et himmelfelt; i morgen, når retningen vender, reserveres i stedet et frekvensbånd. Hvis reglerne gennem længere tid løber efter resultaterne, må 8.12 dømme det som alvorlig skade. Det viser, at EFT endnu ikke har lært at underlægge sig fastlagte regler.

13. Hvad kan endnu ikke vurderes i dag?

En anden rimelig, men farlig grund til at vente er, at objekterne er for sjældne, platformene for dyre og replikationscyklussen for lang. Visse fine træk nær horisonten, ekstreme sammensmeltninger og dyre kvanteforbindelser kan reelt ikke reproduceres på tværs af institutioner lige så hurtigt som almindelige laboratorieforsøg. 8.12 kan da midlertidigt acceptere »utilstrækkelig evidenstæthed«, men må aldrig omskrive det til »bogfør foreløbig resultatet som støtte«. I bind 8’s grammatik kan sjældenhed og høje omkostninger kun forsinke afgørelsen, ikke hæve sandsynligheden for sejr.

14. Forveksl ikke »kan forklares« med »kan bestå prøvelsen«: Afsnittets vigtigste skifte

Afsnittet tilføjer ikke blot flere tekniske krav; det flytter hele bindets holdning fra fortolkningskunst til prøvelsesdisciplin. Fortolkningskunsten finder en formulering, der kan rumme hvert nyt objekt. Prøvelsesdisciplinen gør det modsatte: Den binder først teorien og spørger derefter, hvad der står tilbage. For en teori som EFT, der vil omskrive universets grundkort, er skiftet afgørende. Jo bedre teorien er til at tale, desto mere må den lære først at tie; jo mere den kan forklare, desto tidligere må den acceptere de mest ugunstige regler.

Det skræmmende ved falsifikation er ikke modstanderens styrke, men om teorien selv vil lade sig prøve under de mest ugunstige regler. Vil EFT ikke det, er den stadig blot en teori, der kan fortælle gode historier, selv når ingen for en tid kan tilbagevise den. Omvendt vejer en sejr i blot nogle få vinduer under de hårdeste regler tungere end et helt bind af flotte forklaringer, der aldrig har mødt værnene.

15. Afsnittets sammenfatning

Om bind 8 kan stå, afhænger ikke alene af, hvad det ser, men af om EFT vil lade de fire porte arbejde imod sig: holdout-sæt, blinding, nulkontroller og replikation på tværs af pipelines. Kun når teorien accepterer regler, der gør livet vanskeligere for den selv, kan senere støtte blive andet end et ekko af dens egen fortælling.