Vi introducerar GeneBench-Pro
Ett benchmark pÄ forskningsnivÄ som mÀter hur AI-agenter hanterar tvetydighet och gör viktiga bedömningar i berÀkningsbiologi.
Vetenskapliga data kommer sÀllan med instruktioner. Forskare mÄste avgöra om ett mönster speglar biologi eller brus, om data kan stödja frÄgan som stÀlls och hur varje resultat bör pÄverka nÀsta steg. AI-agenter blir allt bÀttre pÄ att utföra komplexa analyser, men verklig forskning krÀver inte bara faktaminne eller fasta arbetsflöden, utan ocksÄ denna typ av högre omdömen.
I dag introducerar vi GeneBench-Pro â ett utmanande benchmark pĂ„ forskningsnivĂ„ som testar om Modeller klarar den omdömestunga analys som verklig berĂ€kningsbiologi krĂ€ver. Det bygger vidare pĂ„ GeneBenchâ (öppnas i ett nytt fönster) och omfattar svĂ„rare, mer realistiska uppgifter inom genomik, kvantitativ biologi och translationell medicin, med den komplexitet, iteration och tvetydighet som prĂ€glar forskning i berĂ€kningsbiologi.Â
Hittills har det funnits fÄ övertygande bedömningar av de systemnivÄbeslut som gör verklig berÀkningsforskning svÄr. Det handlar om att hantera tvetydighet, ompröva antaganden, vÀlja rÀtt analysvÀg och veta nÀr ett resultat Àr redo för beslut. Eftersom dessa fÀrdigheter Àr svÄra att formalisera Àr de ocksÄ svÄra att utvÀrdera rigoröst, samtidigt som brister i dem allt oftare begrÀnsar AI:s samlade prestanda.
GeneBench-Pro Ă€r utformat för att mĂ€ta dessa förmĂ„gor pĂ„ högre nivĂ„ med precision. I GeneBench-Pro definierar vi âforskningskĂ€nslaâ som de kedjor av omdömesbeslut som formar en analys: vilka frĂ„gor data kan stödja, hur tidig diagnostik bör Ă€ndra Modellen eller estimandet och nĂ€r en första plan behöver revideras. Varje GeneBench-Pro-problem ger Modellen ett realistiskt och rörigt dataset, kort experimentell kontext och ett mĂ„lestimand kopplat till ett senare beslut. För att svara rĂ€tt mĂ„ste Modellen utforska data, vĂ€lja en lĂ€mplig analysmetod, arbeta iterativt med experiment och lĂ€mna ett slutligt svar.
Inom biologin har kostnaden för datagenerering (t.ex. genomsekvensering) fallit kraftigt, och vissa forskare hĂ€vdar nuâ (öppnas i ett nytt fönster) att flaskhalsen inte lĂ€ngre Ă€r provinsamling utan efterföljande berĂ€kning och analys. GeneBench-Pro Ă€r byggt för att mĂ€ta framsteg mot den flaskhalsen, med 129 frĂ„gor som tĂ€cker mĂ„nga miljöer och metoder inom berĂ€kningsbiologi.
DomÀnatlas: 129 problem i 10 domÀner och 21 underdomÀner
Klicka pÄ en punkt ovan för att lÀsa mer om ett riktmÀrkesproblem.
Denna atlas ger en förhandsbild av bredden i GeneBench-Pro. Besök sidan med fallstudier för att utforska 10 representativa frÄgor mer ingÄende.
GeneBench-Pro Àr ocksÄ utformat för att undvika vanliga benchmarkmisslyckanden. MÄnga lÄnghorisont-benchmarks i biologi bygger flerstegsfrÄgor kring röriga historiska dataset, dÀr det kanske inte finns en enda korrekt vÀg genom analysen. En agent kan vÀlja en försvarbar grÀns, medan en annan vÀljer ett annat men lika försvarbart alternativ, vilket speglar benchmarkskaparens godtyckliga val mer Àn grundlÀggande skillnader i modellprestanda. Det motsatta kan ocksÄ ske: om ett problem Àr för numeriskt okÀnsligt kan en Agent göra grundlÀggande analysfel och ÀndÄ fÄ ett godkÀnt resultat.
För att undvika dessa felmönster byggs varje GeneBench-Pro-problem syntetiskt: vi kÀnner till hela den kausala strukturen och simulerar datagenereringsprocessen direkt. Det gör att vi kan justera varje problems komplexitet, sÀkerstÀlla att rimliga skillnader i subjektiva analysval ÀndÄ ger godkÀnda numeriska resultat och verifiera (genom ablationsstudier) att rimliga men felaktiga analyser misslyckas. DÀrefter granskar vi problemutkast med detaljerade spÄranalyser för att kontrollera informationslÀckage och oavsiktliga lösningsvÀgar. Det ger oss förtroende för att rÀtt svar beror pÄ rÀtt analytisk vÀg, inte pÄ att utnyttja en genvÀg eller matcha en godtycklig författarpreferens.
Vi skickade 82 av de 129 GeneBench-Pro-frÄgorna till externa domÀnexperter, dÀribland doktorander, postdoktorala forskare, industriforskare och professorer. Granskarna bedömde varje problems realism, om mÄlsvaret var identifierbart och om metoderna och estimatorerna var lÀmpliga. à terkopplingen anvÀndes för att förbÀttra problemen.
âProblemen jag granskade hade varit utmanande för en doktorand att slutföra utan Ă„terkoppling i flera omgĂ„ngar frĂ„n en erfaren handledare. Data innehöll tekniska problem och kvalitetskontrollproblem som krĂ€vde genomtĂ€nkt och reflekterande dataanalys, med medvetenhet om möjliga fallgropar, för att lösas framgĂ„ngsrikt; det handlade inte bara om att anvĂ€nda en fĂ€rdig metod pĂ„ rena och vĂ€lkuraterade data.â
âĂven om dagens Modeller inte tillförlitligt kan köra oberoende analyser frĂ„n början till slut, skulle de som presterar vĂ€l pĂ„ GeneBench-Pro-problem tydligt kunna hjĂ€lpa forskare att faststĂ€lla korrekta arbetsflöden och utforska data. Jag kan se hur det skulle förbĂ€ttra forskningens takt, grundlighet och reproducerbarhet avsevĂ€rt.â
Varje GeneBench-Pro-problem Àr en fristÄende vetenskaplig analys. Agenter fÄr tillgÄng till en isolerad Arbetsyta med en kort prompt, datafiler och en standardstack för bioinformatik med Python, vetenskapliga berÀkningsbibliotek och grundlÀggande genomikpaket som PLINK 2.0 (Àven om problemen inte krÀver domÀnspecifika verktyg).
Eftersom vi kontrollerar hela datagenereringen kan vi deterministiskt bedöma korrekthet mot kÀnda mÄl och undvika modellvalsvariation och effekter av utförlighet i vanlig rubrikbaserad utvÀrdering.
Varje problem har ocksĂ„ rik metadata, bland annat avsedd analysstruktur, bifogade datafiler, en detaljerad fallstudie pĂ„ flera sidor och resultat frĂ„n expertgranskning. Vi slĂ€pper 10 representativa GeneBench-Pro-frĂ„gor helt som öppen kĂ€llkod pĂ„ Hugging Faceâ (öppnas i ett nytt fönster), med ett interaktivt webbgrĂ€nssnitt för att utforska dem. Slutligen kommer vi inom kort att tillhandahĂ„lla en delmĂ€ngd med 50 frĂ„gor till Artificial Analysisâ (öppnas i ett nytt fönster) för oberoende benchmarkning av tredje part.
VĂ„r starkaste Modell, GPTâ5.6 Sol, nĂ„r en godkĂ€nnandefrekvens pĂ„ 28,7 % vid högsta ResonemangsnivĂ„ (31,5 % med Pro-lĂ€get aktiverat). Det Ă€r en kraftig ökning jĂ€mfört med nĂ€r vi började bygga det ursprungliga GeneBench; dĂ„ fick vĂ„r bĂ€sta banbrytande Modell, GPTâ5, under 5 %. Framstegen pĂ„ detta benchmark tyder pĂ„ att banbrytande Modeller förbĂ€ttras snabbt, Ă€ven inom mindre konkreta, systemnivĂ„baserade vetenskapliga Resonemang. I nuvarande takt kan detta benchmark vara mĂ€ttat vid Ă„rets slut.
Resultaten visar ocksĂ„ effekten av att skala upp berĂ€kning vid testtid. PĂ„ den lĂ€gsta resonemangsnivĂ„n nĂ„r GPTâ5.6 Sol bara en ensiffrig godkĂ€nnandefrekvens. PĂ„ den högsta resonemangsnivĂ„n löser GPTâ5.6 Sol nĂ€stan sex gĂ„nger sĂ„ mĂ„nga frĂ„gor som GPTâ5.2 och anvĂ€nder samtidigt ungefĂ€r tvĂ„ tredjedelar sĂ„ mĂ„nga Token.
JĂ€mförelser mellan Modellfamiljer tyder pĂ„ att GPTâModeller hör till de starkaste systemen för vetenskapliga Resonemang pĂ„ hög nivĂ„ under kvantitativ osĂ€kerhet. Prestandagapet mellan GPTâ5.6, GPTâ5.5 och ledande Modeller med öppen kĂ€llkod som GLM 5.2 Ă€r betydligt större Ă€n vi skulle vĂ€nta oss vid extrapolering frĂ„n kodningsbenchmarksâ (öppnas i ett nytt fönster), vilket tyder pĂ„ att öppna Modeller Ă€r mer specialiserade för kodning Ă€n för bredare ResonemangsförmĂ„ga.
Vi anvĂ€nde banbrytande GPTâModeller för att utvĂ€rdera och förstĂ€rka problemen under utvecklingen. DĂ€rför misstĂ€nkte vi att GeneBench-Pro kunde vara snedvridet mot GPTâModeller jĂ€mfört med andra Modellfamiljer. KonkurrentModeller matchade dock i bĂ€sta fall prestandan hos motsvarande GPTâModell vid lansering och lĂ„g ofta klart efter.
Dessa utvĂ€rderingsresultat â upp till 31,5 % för GPTâ5.6 Sol (Pro) â Ă€r slĂ„ende med tanke pĂ„ hur svĂ„ra GeneBench-Pro-frĂ„gorna Ă€r. I en enkĂ€t uppskattade vĂ„ra granskare att ett typiskt GeneBench-Pro-problem skulle ta en mĂ€nsklig expert omkring 20â40 timmar att slutföra. Med en försiktig uppskattning pĂ„ 200 dollar per timme innebĂ€r det att arbetskostnaden för en mĂ€nniska för ett enda problem hamnar pĂ„ tusentals dollar. Dagens AI-agenter Ă€r fortfarande för opĂ„litliga för att ersĂ€tta mĂ€nskliga experter, men kostnadsgapet Ă€r stort, med inferenskostnader pĂ„ bara nĂ„gra dollar per problem. Det betyder att Ă€ven partiell automatisering med dagens förmĂ„gor kan skapa betydande ekonomiskt och vetenskapligt vĂ€rde.
âReferensmĂ€tningarna motiveras av en bred uppsĂ€ttning biologiska frĂ„gor, men ⊠den verkliga utmaningen ligger i explorativ dataanalys och Resonemang kring dessa upptĂ€ckter: att identifiera mönster och artefakter och avgöra om data bör uteslutas eller justeras. Det liknar den röriga karaktĂ€ren hos verkliga biologiska dataset. Granskningen av dessa utvĂ€rderingar visar hur viktiga tydliga lösarkontrakt Ă€r för Agent-baserad vetenskaplig problemlösning. Olika formuleringar av prompten eller uppgiftsspecifikationen kan i hög grad pĂ„verka vilka analyser som framstĂ„r som tillĂ„tna.â
âJag gillade [frĂ„gorna] för det mesta. De brukade innehĂ„lla en blandning av: (1) nödvĂ€ndig Ă€mneskunskap, till exempel C>T-bias i gammalt DNA, (2) avvikelser i data, till exempel byten av hĂ€rkomst, (3) viss kunskap om rĂ€tt analysverktyg för uppgiften och hur de ska implementeras. Det verkade som om de flesta agenterna misslyckades pĂ„ (2). De Ă€r inte tillrĂ€ckligt försiktiga med dataproblem. Kanske visar det pĂ„ en svaghet hos dagens Modeller. Och mycket biologiska data innehĂ„ller oregelbundenheter.â
Samtidigt visar det faktum att banbrytande Modeller fortfarande löser mindre Àn en tredjedel av dessa problem att det finns stor förbÀttringspotential. Modeller kan göra delvisa framsteg i svÄra problem, men har svÄrt att sluta den inferentiella loopen. Detta felmönster speglar skillnaden mellan mÀnskliga experter och nybörjare. Experter anvÀnder sin erfarenhet för att rama in problemet och anpassa sin metod, medan nybörjare gör observationer men har svÄrt att integrera dem i problemets bredare sammanhang.
För att nĂ„ nĂ€stan perfekt prestanda krĂ€vs utvĂ€rderingar som bĂ„de mĂ€ter framsteg tillförlitligt och visar var Modeller fortfarande misslyckas. Benchmarks som GeneBench-Pro kan hjĂ€lpa till att göra en vag förmĂ„gebrist till nĂ„got vi kan diagnostisera och förbĂ€ttra.Â
Om agenter tillförlitligt kan automatisera denna typ av analys kan de kraftigt pÄskynda vetenskapliga upptÀckter. Humangenetiska belÀgg Àr redan centrala för mÄlprioritering och translationell uppföljning, eftersom mekanismer med genetiskt stöd har mycket större chans att leda till godkÀnda behandlingar.
Samtidigt har sekvenseringskostnaderna rasat, och dataset i biobanksskala kopplar nu molekylÀr, fenotypisk och journalbaserad information med oövertrÀffad bredd. Den begrÀnsande faktorn flyttas frÄn datagenerering till att omvandla informationen till handlingsbara insikter. Modeller som konsekvent kan utföra analyser som i dag hanteras av team av mÀnskliga experter kan förÀndra industriell forskning genom att pÄskynda hypotestriage, mÄluppföljning och iterationscykeln mellan datagenerering och beslut.
GeneBench-Pro Ă€r ett första försök att utvĂ€rdera de mer abstrakta fĂ€rdigheter som ingĂ„r i gott vetenskapligt omdöme hos erfarna forskare. Dessa fĂ€rdigheter gör att de kan intuitivt hitta de mest lovande första analyserna, iterera och ompröva sitt tĂ€nkande nĂ€r data motsĂ€ger första antaganden och nĂ„ slutsatser som senare kliniska, akademiska eller affĂ€rsmĂ€ssiga beslut kan bero pĂ„.Â
Vi rÀknar med att benchmarks som prövar Modellernas förmÄga pÄ dessa högre abstraktionsnivÄer blir allt mer anvÀndbara i takt med att Modellernas förmÄgor utvecklas, bortom tester som bara mÀter bokkunskap eller förmÄgan att utföra rutinanalyser.
