Inkejlu kif l-aġenti tal-IA jlaħħqu max-xjenza ta’ kuljum fil-laboratorju sperimentali
Nintroduċu BioBasicsBench, test ta’ valutazzjoni li jkejjel kemm l-aġenti tal-IA jinterpretaw tajjeb data sperimentali mhux ipproċessata f’100 kompitu ta’ rutina fil-laboratorju sperimentali.
Il-missjoni tagħna hija li niżguraw li l-intelliġenza artifiċjali ġenerali tkun ta’ benefiċċju għall-umanità kollha. Bħala parti minn dik il-missjoni, irridu ngħinu lix-xjenzati jaċċelleraw ir-riċerka bijoloġika—mill-fehim tal-mard sal-iżvilupp ta’ trattamenti ġodda. Biex l-aġenti tal-IA jikkontribwixxu, jeħtieġ li jinterpretaw b’mod affidabbli l-evidenza sperimentali li x-xjenzati jaħdmu biha kuljum fil-laboratorji sperimentali, fejn iwettqu esperimenti b’kampjuni bijoloġiċi. Ix-xogħol ta’ kuljum fil-laboratorju sperimentali jinvolvi esperimenti li jfallu, immaġnijiet ambigwi u osservazzjonijiet konfliġġenti. It-testijiet ta’ valutazzjoni eżistenti, mibnija madwar graffs u immaġnijiet magħżula għal pubblikazzjonijiet xjentifiċi, jistgħu ma jaqbdux din l-ambigwità u x-xogħol ta’ identifikazzjoni u soluzzjoni tal-problemi li teħtieġ. Għalhekk qed inniedu BioBasicsBench, test ġdid ta’ valutazzjoni żviluppat ma’ Ligo, kumpanija tal-bijoteknoloġija ffukata fuq id-disinn tal-enżimi, biex inkejlu kemm l-aġenti jlaħħqu tajjeb mal-analiżi ta’ rutina fil-laboratorju sperimentali.
Il-100 kompitu tat-test jeżaminaw jekk l-aġenti jistgħux jinterpretaw data sperimentali mhux ipproċessata, jidentifikaw żbalji, u jagħrfu meta l-evidenza ma tkunx biżżejjed biex issostni konklużjoni. Huwa importanti li dawn il-kompiti jsiru sew, għax interpretazzjoni żbaljata ta’ immaġni jew problema mhux innutata fil-kontrolli użati biex jiġu vverifikati r-riżultati ta’ esperiment jistgħu jwasslu lix-xjenzati għal konklużjoni żbaljata u jġegħluhom iqattgħu ħin fuq esperimenti li ma jgħinux iwieġbu l-mistoqsija tagħhom.
Fil-livell “xhigh”, li jippermetti aktar raġunament għal kull kompitu, GPT‑6 Astra kiseb medja ta’ 66.7% tal-punti disponibbli, meta mqabbel ma’ 43.8% għal GPT‑5.6 Sol. Ir-riżultati juru progress fl-analiżi ta’ rutina fil-laboratorju, b’lok għal aktar titjib fl-interpretazzjoni tal-immaġnijiet, fil-verifika tal-kontrolli u fl-applikazzjoni tal-kuntest sperimentali.
BioBasicsBench juża evidenza sperimentali mhux ipproċessata, minn immaġnijiet tal-ġellijiet u pjanċi tal-kolonji sa mikroskopija u qari tal-istrumenti.
BioBasicsBench għandu 100 kompitu f’ħames oqsma ta’ xogħol ta’ rutina fil-laboratorju sperimentali: metodi tal-proteini, immaġni u ċitometrija, kwantifikazzjoni u analiżijiet, metodi tal-aċidi nuklejċi, u klonazzjoni molekulari. Il-kompiti jvarjaw minn talbiet sempliċi, bħall-qari tal-piż molekulari ta’ kampjun tad-DNA f’ġell, sa analiżi dettaljata ta’ testijiet, iżda kollha jinvolvu xogħol ta’ rutina li x-xjenzati tal-laboratorju sperimentali għandhom ikunu kapaċi jwettqu b’mod affidabbli.
Ix-xjenzati ħolqu l-kompiti b’data mill-esperimenti tagħhom stess, u rabtu kull mistoqsija ma’ kriterji ta’ valutazzjoni miktuba minn esperti. Kull kompitu għadda minn rieżami intern minn xjenzat ta’ Ligo li ma kienx kitbu, rieżami estern minn xjenzat b’livell ta’ PhD li jaħdem f’laboratorju sperimentali, u rieżami intern finali.
L-aġenti jagħtu tweġiba strutturata bil-konklużjoni, il-kejl jew ir-rakkomandazzjoni mitluba u, fejn meħtieġ, bir-raġunament li jsostniha. It-tweġibiet jingħataw punti skont kriterji individwali tal-iskema ta’ valutazzjoni, biex it-test ikun jista’ jiddistingwi bejn konklużjoni korretta u analiżi parzjalment korretta. Il-biċċa l-kbira tal-kompiti jittestjaw diversi ħiliet flimkien, fosthom l-għarfien bijoloġiku, l-interpretazzjoni ta’ immaġnijiet u data oħra, l-identifikazzjoni tal-iżbalji u l-fehim tal-protokolli.
“Kompiti uniċi” jgħodd kull kompitu darba. Il-kolonni tal-ħiliet jgħoddu l-kompiti b’kull tikketta ta’ ħila. Dawn il-kategoriji jikkoinċidu: kompitu wieħed jista’ jidher f’diversi kolonni, għalhekk l-għadd tal-kompiti għal kull ħila m’għandux jingħadd flimkien biex jinkiseb total tal-kompiti. Il-kulur jidentifika l-qasam; sfumatura aktar qawwija tindika proporzjon akbar tal-kompiti f’dak il-qasam li jittestjaw ħila.
L-inputs iżommu l-forom tal-evidenza li jaħdmu bihom ix-xjenzati: immaġnijiet tal-ġellijiet u tal-blots, ritratti tal-pjanċi, sensiliet ta’ immaġnijiet mikroskopiċi, qari tas-sekwenzjar, data esportata minn qarrejja tal-pjanċi u filmati ta’ xogħol fuq il-bank tal-laboratorju. Kompitu jista’ jinkludi diversi tipi ta’ data. Il-folji ta’ referenza, bħad-dijagrammi tal-markaturi tad-daqs u l-mapep tal-plażmidi, jgħinu fl-interpretazzjoni tal-evidenza sperimentali.
Tip ta’ data | Kompiti | X’jinkludi |
|---|---|---|
Ġellijiet u blots | 31 | Ġellijiet tal-agarosju għad-DNA, ġellijiet SDS-PAGE, Western blots |
Protokolli, noti u speċifikazzjonijiet | 27 | Protokolli u proċeduri operattivi standard, pitazzi tal-laboratorju u rekords tal-eżekuzzjonijiet, ritratti ta’ noti miktuba bl-idejn, katalgi, speċifikazzjonijiet tal-istrumenti, metodi ppubblikati |
Tabelli u data esportata mill-istrumenti | 20 | Data esportata f’CSV u Excel, tqassim tal-korsiji u inventarji, fajls mhux ipproċessati taċ-ċitometrija tal-fluss (FCS) |
Ritratti ta’ bankijiet, apparat u reaġenti | 18 | Bankijiet, apparat għall-ġellijiet, tubi tar-reaġenti u tal-kulturi, pjanċa tal-PCR, xtillieri għat-tubi, strixxi tal-pH, konċentratur, friża, pjattaforma ta’ apparat għall-immaniġġjar tal-likwidi |
Mikroskopija | 14 | Immaġnijiet mhux ipproċessati b’kamp ċar u bil-fluworexxenza, settijiet b’diversi kanali, sensiliet tul l-assi z, filmati b’intervalli ta’ ħin |
Skrins tal-istrumenti u graffs | 13 | Ritratti tal-iskrins ta’ ċitometru tal-fluss, mikroskopju, NanoDrop, qarrej tal-pjanċi u miżien; kurvi standard, kromatogrammi u graffs esportati |
Fajls tas-sekwenzjar | 12 | Fajls FASTQ mhux ipproċessati b’qari twil, sekwenzi FASTA, mapep GenBank |
Filmati tal-protokolli | 7 | Tixrid bi strixxi, inokulazzjoni, dilwizzjoni serjali, tħejjija ta’ tankijiet SDS-PAGE u inkubaturi, użin fuq miżien |
Pjanċi tal-agar u kolonji | 7 | Pjanċi tat-trasformazzjoni, skrinjar blu/abjad, pjanċi b’diski tal-antibijotiċi |
Folji ta’ referenza | 21 | Dijagrammi tal-markaturi tad-daqs, mapep tal-plażmidi, skali tal-pH (materjal ta’ appoġġ) |
Għadd ta’ kompiti li jinkludu kull tip ta’ data. Il-kategoriji jikkoinċidu; il-folji ta’ referenza huma materjal ta’ appoġġ.
Ix-xjenzati kitbu l-kompiti b’data mill-esperimenti tagħhom stess, u rabtu l-evidenza sperimentali ma’ mistoqsija u skema ta’ valutazzjoni miktuba minn esperti. Kull kompitu għadda minn rieżami intern minn xjenzat ta’ Ligo li ma kienx kitbu, rieżami estern minn xjenzat b’livell ta’ PhD li jaħdem f’laboratorju sperimentali, u rieżami intern finali. Ir-reviżuri vverifikaw il-prompt, l-evidenza sperimentali, l-iskema ta’ valutazzjoni, in-noti tal-awtur u tentattiv ta’ mudell li kien ingħata punteġġ.
It-tweġibiet jingħataw punteġġ skont l-iskema ta’ valutazzjoni tal-kompitu, li talloka punti lil kriterji individwali. Skont il-kompitu, dawn il-kriterji jivvalutaw il-konklużjoni, ir-riżultati numeriċi, ir-raġunament li jsostnihom jew l-għarfien li l-evidenza mhijiex biżżejjed.
Evalwajna seba’ mudelli fuq BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna u GPT‑6 Astra. L-evalwazzjoni tkopri 37 kombinazzjoni ta’ mudelli u livelli ta’ sforz ta’ raġunament, b’ħames tentattivi għal kull wieħed mill-100 kompitu għal kull konfigurazzjoni, għal total ta’ 18,500 riżultat.
Nirrapportaw il-premju medju: il-punteġġ medju tal-kompiti, espress bħala perċentwal tal-punti disponibbli. Il-vireg tal-iżball juru intervalli ta’ kunfidenza ta’ 95%, ikkalkulati billi jittieħdu kampjuni mill-ġdid ta’ kompiti sħaħ, filwaqt li l-ħames tentattivi għal kull kompitu jinżammu flimkien.
Premju medju mqabbel mal-medja ta’ tokens tal-output għal kull kompitu, muri fuq skala logaritmika. Kull punt jirrappreżenta livell ta’ sforz ta’ raġunament ittestjat; il-linji jgħaqqdu dawk il-livelli fl-ordni. Il-valur fuq l-assi x jirdoppja f’kull marka. Il-linji oranġjo mqattgħin juru l-mudelli GPT‑5, u l-linji blu sħaħ juru l-mudelli GPT‑6. Il-vireg ċari juru intervalli ta’ kunfidenza bootstrap ta’ 95% ibbażati fuq kompiti sħaħ. Kull konfigurazzjoni tinkludi l-100 kompitu kollha u ħames tentattivi għal kull kompitu. Il-livelli tal-isforz ivarjaw bejn il-mudelli.
GPT‑6 Astra jtejjeb sostanzjalment ir-riżultati ta’ GPT‑5.6 Sol, anki bi sforz baxx ta’ raġunament. Dan it-titjib jissuġġerixxi li kapaċitajiet multimodali nattivi aktar b’saħħithom jistgħu jkunu essenzjali biex titjieb il-prestazzjoni fl-analiżi ta’ kuljum fil-laboratorju sperimentali.
Prestazzjoni bl-isforz ta’ raġunament xhigh
Mudell | Premju medju | Intervall ta’ kunfidenza ta’ 95% | Tokens tal-output / kompitu |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
Xhigh huwa l-ogħla livell ta’ sforz ta’ raġunament irrapportat għas-seba’ mudelli kollha. Kull ringiela tinkludi l-100 kompitu kollha u ħames tentattivi għal kull kompitu. Ir-riżultati bl-isforz Max, fejn disponibbli, huma inklużi fil-graff ta’ hawn fuq.
Żball komuni fix-xjenza huwa li wieħed jinterpreta d-data lil hinn minn dak li fil-fatt turi, speċjalment minħabba n-natura tal-preġudizzju li jseħħ meta tiġi ttestjata ipoteżi. Astra wera kapaċità aħjar li jagħraf il-limiti ta’ dak li turi d-data u jevita konklużjonijiet mhux ġustifikati.
F’dan l-eżempju, GPT‑5.6 Sol ikklassifika ċ-ċelloli bħala mejta abbażi tas-sinjal minn żebgħa użata biex jiġu identifikati ċelloli mejta. Iżda d-ditekter seta’ jaqbad ukoll dawl minn żebgħa oħra, għalhekk il-luminożità waħedha ma setgħetx tiġġustifika dik il-konklużjoni. Astra għaraf din l-ambigwità u talab kontrolli aħjar biex jisseparaw is-sinjali.
Kamp ċar · dawl trażmess
Kanal 2 · immarkat b’SYTOX · 470–540 nm
Kanal 3 · FUN-1 aħdar · 525–580 nm
L-istess reġjuni taċ-ċelloli fi tliet kanali; il-meded ta’ detezzjoni jikkoinċidu f’525–540 nm. Il-medda komuni tippermetti interferenza; l-ammont tagħha ma tkejjilx. Kull kanal jintwera bi skala lineari separata tal-intensità, li tibqa’ l-istess għaż-żewġ reġjuni; il-luminożità ma tistax titqabbel kwantitattivament bejn il-kanali.
Ir-riċerka xjentifika hija multimodali ħafna u teħtieġ interpretazzjoni viżiva u teħid ta’ deċiżjonijiet kontinwi. Astra wera titjib sinifikanti fl-immaniġġjar ta’ data multimodali pprovduta f’ritratti u filmati, kif ukoll f’riżultati mhux ipproċessati mis-sekwenzjar, minn analiżijiet b’qarrej tal-pjanċi, mill-mikroskopija u miċ-ċitometrija tal-fluss.
Fl-aktar livell bażiku, dan it-titjib deher fil-kapaċità ta’ GPT‑6 Astra li jinnota dettalji ifjen f’immaġnijiet meħuda waqt l-esperimenti u għalhekk jasal għal konklużjonijiet aktar preċiżi, kif juri dan l-eżempju. Dan il-kompitu talab lill-aġenti jaslu għal konklużjonijiet minn esperiment tal-klonazzjoni tad-DNA, fejn il-kontrolli huma essenzjali. GPT‑5.6 Sol ma ra ebda kolonja fuq il-pjanċa tal-kontroll negattiv u bbaża l-konklużjonijiet tiegħu fuq dik l-osservazzjoni. GPT‑6 Astra nnota li l-pjanċa kellha tikketta bl-antibijotiku żbaljat u, b’mod korrett, ma aċċettahiex bħala kontroll affidabbli.
Ritratt oriġinali
It-tikketta fuq ix-xifer
Ir-ritratt oriġinali tat-test ta’ valutazzjoni, bit-tikketta fuq ix-xifer imdawra b’ċirku u mkabbra. “LB Kan50” jindika l-kanamiċina, antibijotiku differenti mill-ampiċillina użata fl-esperiment.
Ix-xjenzati jridu jkunu kapaċi jżommu f’moħħhom l-għarfien bijoloġiku taċitu u l-kuntest sperimentali waqt li janalizzaw id-data, sabiex jinterpretaw sew dak li turi. Astra wera kapaċità aħjar li jżomm dan il-kuntest f’moħħu u japplikah tul l-analiżi kollha tiegħu.
Kompitu minnhom wera ċelloli li kienu jidħlu fil-fokus u joħorġu minnu f’sensiela ta’ immaġnijiet mikroskopiċi. Filwaqt li GPT‑5.6 Sol fittex spjegazzjoni bijoloġika għall-għajbien apparenti taċ-ċelloli, GPT‑6 Astra għaraf b’mod korrett sensiela tul l-assi z: sensiela ta’ immaġnijiet meħuda f’fondijiet differenti.
0 s
3 s
6 s
9 s
12 s
15 s
Sitt kwadri mir-reġistrazzjoni oriġinali. Kaxxi b’linji mqattgħin jimmarkaw l-istess pożizzjoni hekk kif il-mikroskopju jiskennja fondijiet differenti. Il-ħinijiet jirreferu għall-pożizzjoni tal-qari fil-filmat ipprovdut.
Punteġġi ogħla fit-testijiet ta’ valutazzjoni għadhom ma jfissrux li l-mudelli jistgħu jagħmlu ġudizzji affidabbli fil-laboratorju. Dawn l-eżempji ta’ Astra juru kif is-suppożizzjonijiet, it-tweġibiet mistennija u t-tikketti pprovduti jistgħu jieħdu prijorità fuq l-evidenza, u kif osservazzjoni korretta f’pass intermedju tista’ tonqos milli tiggwida d-deċiżjoni finali.
Astra jagħti prijorità lil suppożizzjoni familjari fuq l-interpretazzjoni sostnuta mill-kontrolli sperimentali. Jista’ jiddistingwi ż-żewġ gruppi ta’ faxex tal-kolonji, iżda jassumi li prodott tal-PCR akbar jindika klonazzjoni li rnexxiet. Abbażi ta’ dik is-suppożizzjoni jipproponi l-korsiji 4, 6, 7 u 8; min-naħa l-oħra, it-tqabbil mal-kontrolli fir-referenza jagħżel il-korsiji 5, 9 u 10.
Ir-referenza tagħżel il-kolonji 5, 9 u 10; Astra jipproponi 4, 6, 7 u 8.
1: markatur · 2: taħlita tal-klonazzjoni · 3: plażmid oriġinali · 4–10: kampjuni tal-kolonji
L-interpretazzjoni tal-kontrolli
Il-korsija 3 fiha biss il-prodott tal-PCR tal-plażmid oriġinali. Il-faxxa tagħha tipprovdi l-pożizzjoni ta’ referenza tal-plażmid il-qadim.
Fl-interpretazzjoni ta’ referenza, il-korsija 2 fiha ż-żewġ xejriet: assemblaġġ mhux komplut iħalli l-mudell jew l-istruttura bażika l-qadima flimkien mal-prodott il-ġdid.
Il-kolonji li jirriżultaw jistgħu jġorru jew il-plażmid il-qadim jew dak il-ġdid. Qabbel il-faxex tagħhom ma’ dawn ix-xejriet ta’ referenza.
L-għażla ta’ referenza: 5, 9 u 10
L-għażla ta’ Astra: 4, 6, 7 u 8. Astra jagħżel dan il-grupp u jissuġġerixxi li l-prodott tal-PCR akbar jirrappreżenta l-kostrutt mixtieq.
Il-gruppi viżivi huma korretti, iżda l-identitajiet sperimentali attribwiti lil dawk il-gruppi huma maqlubin meta mqabbla mar-referenza. Għalhekk Astra jagħżel il-kolonji żbaljati mir-riżultati tal-PCR tal-kolonji, u dan iwassal biex fi stadju sussegwenti jiġi ppurifikat il-plażmid żbaljat.
Astra jwarrab osservazzjonijiet li jikkontradixxu l-interpretazzjoni li jippreferi. Jikkonkludi li l-vakuoli, kompartimenti ġewwa ċ-ċelloli, ġeneralment huma aktar skuri mill-bqija taċ-ċellola ta’ madwarhom, minkejja li xi wħud jidhru aktar ċari fl-istess immaġni. Iż-żewġ dehriet huma importanti: bidla fil-fokus tal-mikroskopju tista’ taqleb il-kuntrast, għalhekk l-eżempji aktar skuri ma jistabbilixxux regola ġenerali.
Dehra aktar skura
Dehra aktar ċara
Il-ġeneralizzazzjoni ta’ Astra dwar il-vakuoli aktar skuri tħalli barra l-vakuoli aktar ċari li jidhru fl-istess kamp.
X’tonqos milli tqis dik it-tweġiba
Xi ċelloli għandhom kuntrast oppost. Iż-żewġ dehriet iseħħu għax fondijiet fokali differenti jistgħu jaqilbu l-kuntrast.
Astra jeżamina diversi reġjuni u saħansitra jinnota li l-kuntrast ivarja mal-fokus. Imbagħad jagħti aktar piż liċ-ċelloli li jqis li huma f’fokus aħjar, u fit-tweġiba finali jżomm biss id-deskrizzjoni tagħhom b’vakuoli aktar skuri. Ir-reġjuni aktar ċari, li jikkontradixxu dik l-interpretazzjoni, ġew eżaminati iżda ma jitqisux fil-konklużjoni.
Il-marki tal-għadd ta’ Astra ma jikkorrispondux b’mod affidabbli għal kolonji individwali: ma jiddistingwix kolonji qrib ħafna ta’ xulxin, jaqbeż kolonji viżibbli u jimmarka agar vojt. Ir-riżultat nett fuq din il-pjanċa huwa għadd żejjed ta’ madwar 12% meta mqabbel mar-referenza tat-test ta’ valutazzjoni.
Immaġni oriġinali
Il-marki tal-għadd ta’ Astra
Immaġni oriġinali
Il-marki tal-għadd ta’ Astra
Immaġni oriġinali
Il-marki tal-għadd ta’ Astra
A: marka waħda tal-għadd bejn kolonji ġirien. B: żewġ kolonji viżibbli li tħallew mingħajr marka. C: agar vojt magħdud bħala kolonja. Iċ-ċrieki ħomor jindikaw il-pożizzjonijiet li Astra għadd. Il-vleġeġ suwed huma gwidi editorjali.
Għadd mhux preċiż tal-kolonji jaffettwa direttament l-istimi tal-effiċjenza li biha d-DNA ddaħħal fiċ-ċelloli. Meta l-volum imqiegħed fuq il-pjanċa u d-dilwizzjoni jinżammu fissi, għadd żejjed jgħolli dik l-istima bl-istess proporzjon.
Biex ir-riċerka bijoloġika taċċellera, ix-xogħol ta’ kuljum irid isir sew. BioBasicsBench jagħmel dak ix-xogħol mira għat-titjib: l-interpretazzjoni ta’ data sperimentali mhux ipproċessata, il-verifika tal-kontrolli u l-għarfien ta’ meta konklużjoni mhijiex sostnuta. Il-progress f’dawn il-kompiti jista’ jgħin lix-xjenzati jqattgħu inqas ħin jidentifikaw u jsolvu l-problemi, u aktar ħin jiddeċiedu liema esperimenti għandhom iwettqu wara. Il-monitoraġġ ta’ dawn il-kapaċitajiet se jgħinna wkoll nifhmu l-implikazzjonijiet tagħhom għall-bijosikurezza u l-bijosigurtà.
