Kupima jinsi mawakala wa AI wanavyofanya kazi za kila siku za maabara za kibayolojia
Tunatambulisha BioBasicsBench, kipimo cha utendaji kinachopima jinsi mawakala wa AI wanavyotafsiri data ghafi za majaribio katika kazi 100 za kawaida za maabara za majaribio ya kibayolojia.
Dhamira yetu ni kuhakikisha kuwa akili unde ya jumla inanufaisha wanadamu wote. Kama sehemu ya dhamira hiyo, tunataka kuwasaidia wanasayansi kuharakisha utafiti wa kibayolojia—kuanzia kuelewa magonjwa hadi kutengeneza matibabu mapya. Ili mawakala wa AI wachangie, wanahitaji kutafsiri kwa kutegemewa ushahidi wa majaribio ambao wanasayansi hutumia kila siku katika maabara, ambako wanafanya majaribio kwa kutumia sampuli za kibayolojia. Kazi ya kila siku katika maabara za majaribio ya kibayolojia huhusisha majaribio yaliyoshindwa, picha zenye utata na matokeo ya uchunguzi yanayokinzana. Vipimo vya utendaji vilivyopo vimejengwa kwa kutumia chati na picha zilizochaguliwa kwa makala za kisayansi, na huenda visizingatie utata huu na utatuzi wa matatizo unaohitajika. Ndiyo sababu tunatambulisha BioBasicsBench, kipimo kipya cha utendaji kilichotengenezwa pamoja na Ligo, kampuni ya bioteknolojia inayolenga usanifu wa vimeng'enya, ili kupima jinsi mawakala wanavyoshughulikia uchambuzi wa kawaida katika maabara za majaribio ya kibayolojia.
Kazi 100 za kipimo hiki zinajaribu ikiwa mawakala wanaweza kutafsiri data ghafi za majaribio, kutambua makosa, na kutambua wakati ushahidi hautoshi kuunga mkono hitimisho. Kufanya kazi hizi kwa usahihi ni muhimu kwa sababu kutafsiri picha vibaya au kupuuza tatizo la sampuli dhibiti zinazotumiwa kukagua matokeo ya jaribio kunaweza kusababisha wanasayansi kutoa hitimisho lisilo sahihi na kutumia muda kwa majaribio ambayo hayatasaidia kujibu swali lao.
Katika mpangilio wa “xhigh”, unaoruhusu uwazaji zaidi kwa kila kazi, GPT‑6 Astra ilipata wastani wa 66.7% ya alama zilizoweza kupatikana, ikilinganishwa na 43.8% ya GPT‑5.6 Sol. Matokeo yanaonyesha maendeleo katika uchambuzi wa kawaida wa maabara, huku kukiwa na nafasi ya kuboresha zaidi tafsiri ya picha, ukaguzi wa sampuli dhibiti na matumizi ya muktadha wa majaribio.
BioBasicsBench hutumia ushahidi ghafi wa majaribio, kuanzia picha za jeli na sahani za koloni hadi uchunguzi kwa hadubini na visomo vya vifaa.
BioBasicsBench ina kazi 100 katika maeneo matano ya kazi za kawaida za maabara za majaribio ya kibayolojia: mbinu za protini, upigaji picha na saitometri, upimaji wa kiasi na vipimo vya maabara, mbinu za asidi nukleiki, na utengenezaji wa nakala za molekuli. Kazi huanzia maombi rahisi, kama vile kusoma uzito wa molekuli wa sampuli ya DNA katika jeli, hadi uchambuzi wa kina wa vipimo. Hata hivyo, zote zinahusisha kazi za kawaida ambazo wanasayansi wa maabara za majaribio ya kibayolojia wanapaswa kuweza kukamilisha kwa kutegemewa.
Wanasayansi waliunda kazi kwa kutumia data za majaribio yao wenyewe, wakiambatanisha kila swali na vigezo vya kutoa alama vilivyoandikwa na wataalamu. Kila kazi ilipitiwa ndani ya kampuni na mwanasayansi wa Ligo ambaye hakuiandika, kisha ikapitiwa nje ya kampuni na mwanasayansi mwenye kiwango cha PhD anayefanya kazi katika maabara ya majaribio ya kibayolojia, na hatimaye ikapitiwa tena ndani ya kampuni.
Mawakala hutoa jibu lenye muundo maalumu linalojumuisha hitimisho, kipimo au pendekezo lililoombwa na, inapohitajika, uwazaji wa kuliunga mkono. Majibu hupewa alama kulingana na kila kigezo cha mwongozo wa kutathmini, hivyo kuwezesha kipimo cha utendaji kutofautisha hitimisho sahihi na uchambuzi ulio sahihi kwa kiasi. Kazi nyingi hujaribu ujuzi kadhaa kwa pamoja, ikiwemo maarifa ya kibayolojia, tafsiri ya picha na data nyingine, utambuzi wa makosa na uelewa wa taratibu.
“Kazi tofauti” huhesabu kila kazi mara moja. Safu za ujuzi huhesabu kazi zenye kila lebo ya ujuzi. Makundi haya yanaingiliana: kazi moja inaweza kuonekana katika safu kadhaa, kwa hivyo idadi katika safu za ujuzi haipaswi kujumlishwa ili kupata jumla ya kazi. Rangi hutambulisha nyanja; rangi nzito zaidi inaonyesha sehemu kubwa zaidi ya kazi za nyanja hiyo zinazojaribu ujuzi fulani.
Data zinazoingizwa huhifadhi aina za ushahidi ambao wanasayansi hutumia: picha za jeli na bloti, picha za sahani, mfululizo wa picha za hadubini katika kina tofauti, visomo vya mfuatano wa vinasaba, data zilizohamishwa kutoka kwenye visomaji vya sahani na video za kazi za maabara. Kazi moja inaweza kujumuisha aina kadhaa za data. Karatasi za marejeleo, kama vile chati za viwango vya ukubwa wa molekuli na ramani za plasmidi, husaidia kutafsiri ushahidi wa majaribio.
Aina ya data | Kazi | Inajumuisha nini |
|---|---|---|
Jeli na bloti | 31 | Jeli za agarosi za DNA, jeli za SDS-PAGE, bloti za Western |
Taratibu, madokezo na vipimo vya kiufundi | 27 | Taratibu na SOP, daftari za maabara na rekodi za majaribio, picha za madokezo yaliyoandikwa kwa mkono, katalogi, vipimo vya kiufundi vya vifaa, mbinu zilizochapishwa |
Majedwali na data zilizohamishwa kutoka kwenye vifaa | 20 | Data zilizohamishwa katika CSV na Excel, mipangilio ya njia za jeli na orodha za vifaa, faili ghafi za saitometri ya mtiririko (FCS) |
Picha za meza za maabara, vifaa na vitendanishi | 18 | Meza za maabara, vifaa vya jeli, mirija ya vitendanishi na ya ukuzaji, sahani ya PCR, vishikio vya mirija, vipande vya kupimia pH, kifaa cha kuongeza ukolezi, friza, jukwaa la kifaa cha kushughulikia vimiminika |
Uchunguzi kwa hadubini | 14 | Picha ghafi za uga angavu na za floresensi, seti za chaneli nyingi, mfululizo wa picha katika kina tofauti, video za picha zilizopigwa kwa vipindi |
Skrini za vifaa na grafu | 13 | Picha za skrini za saitomita ya mtiririko, hadubini, NanoDrop, kisomaji cha sahani na mizani; mikunjo sanifu, kromatogramu na grafu zilizohamishwa kutoka kwenye vifaa |
Faili za usomaji wa mfuatano wa vinasaba | 12 | Faili ghafi za FASTQ zenye usomaji mrefu, mifuatano ya FASTA, ramani za GenBank |
Video za taratibu | 7 | Kupaka sampuli kwa mistari, kupandikiza vijidudu, kuchanganya ili kupunguza ukolezi kwa hatua, maandalizi ya tanki la SDS-PAGE na kiatamizi, kupima uzito kwa mizani |
Sahani za aga na koloni | 7 | Sahani za uingizaji wa DNA, uchunguzi wa buluu/nyeupe, sahani zenye diski za antibiotiki |
Karatasi za marejeleo | 21 | Chati za viwango vya ukubwa wa molekuli, ramani za plasmidi, chati za pH (nyenzo za kusaidia) |
Idadi ya kazi zinazojumuisha kila aina ya data. Makundi yanaingiliana; karatasi za marejeleo ni nyenzo za kusaidia.
Wanasayansi waliandika kazi kwa kutumia data za majaribio yao wenyewe, wakiambatanisha ushahidi wa majaribio na swali pamoja na mwongozo wa kutoa alama ulioandikwa na wataalamu. Kila kazi ilipitiwa ndani ya kampuni na mwanasayansi wa Ligo ambaye hakuiandika, kisha ikapitiwa nje ya kampuni na mwanasayansi mwenye kiwango cha PhD anayefanya kazi katika maabara ya majaribio ya kibayolojia, na hatimaye ikapitiwa tena ndani ya kampuni. Wakaguzi walikagua dokeza, ushahidi wa majaribio, mwongozo wa kutoa alama, madokezo ya mwandishi na jaribio la muundo lililokuwa limepewa alama.
Majibu hupewa alama kulingana na mwongozo wa kazi, ambao hugawa alama kwa kila kigezo. Kulingana na kazi, vigezo hivi hutathmini hitimisho, matokeo ya nambari, uwazaji unaounga mkono jibu au utambuzi kwamba ushahidi hautoshi.
Tulitathmini miundo saba kwa kutumia BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna na GPT‑6 Astra. Tathmini inahusisha michanganyiko 37 ya muundo na kiwango cha juhudi za uwazaji, ikiwa na majaribio matano kwa kila mojawapo ya kazi 100 katika kila mpangilio, na kutoa jumla ya matokeo 18,500.
Tunaripoti wastani wa alama: wastani wa alama za kazi, unaoonyeshwa kama asilimia ya alama zote zinazoweza kupatikana. Pau za hitilafu zinaonyesha vipindi vya uhakika vya 95% vilivyokokotolewa kwa kuchukua sampuli upya za kazi nzima, huku majaribio matano ya kila kazi yakiwekwa pamoja.
Wastani wa alama dhidi ya wastani wa tokeni za matokeo kwa kila kazi, ukionyeshwa kwa skeli ya logariti. Kila nukta inawakilisha mpangilio wa juhudi za uwazaji uliojaribiwa; mistari inaunganisha mipangilio hiyo kwa mfuatano. Thamani kwenye mhimili wa x huongezeka mara mbili katika kila alama. Mistari ya rangi ya machungwa iliyokatika inaonyesha miundo ya GPT‑5, na mistari ya buluu isiyokatika inaonyesha miundo ya GPT‑6. Mistari hafifu ya mipaka inaonyesha vipindi vya uhakika vya 95% vilivyopatikana kwa kuchukua sampuli upya za kazi nzima kwa mbinu ya bootstrap. Kila mpangilio unajumuisha kazi zote 100 na majaribio matano kwa kila kazi. Mipangilio ya juhudi hutofautiana kati ya miundo.
GPT‑6 Astra inafanya vizuri zaidi kwa kiwango kikubwa kuliko GPT‑5.6 Sol, hata ikiwa na juhudi chache za uwazaji. Maendeleo haya yanaashiria kuwa uwezo bora wa asili wa kushughulikia data za aina mbalimbali huenda ukawa muhimu katika kuboresha utendaji wa uchambuzi wa kila siku katika maabara za majaribio ya kibayolojia.
Utendaji katika juhudi za uwazaji za xhigh
Muundo | Wastani wa alama | Kipindi cha uhakika cha 95% | Tokeni za matokeo / kazi |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
Xhigh ndio mpangilio wa juu zaidi wa juhudi za uwazaji ulioripotiwa kwa miundo yote saba. Kila safu mlalo inajumuisha kazi zote 100 na majaribio matano kwa kila kazi. Matokeo ya juhudi za Max, yanapopatikana, yamejumuishwa katika chati iliyo juu.
Kosa la kawaida katika sayansi ni kuitafsiri data kupita inavyothibitisha, hasa kutokana na aina ya upendeleo unaojitokeza wakati wa kujaribu nadharia tete. Astra ilionyesha uwezo bora wa kutambua mipaka ya kile kinachoonyeshwa na data na kuepuka kutoa hitimisho lisilo na msingi.
Katika mfano huu, GPT‑5.6 Sol iliainisha seli kuwa zimekufa kutokana na ishara ya rangi iliyotumiwa kutambua seli zilizokufa. Lakini kigunduzi kingeweza pia kupokea mwanga kutoka kwa rangi ya pili, kwa hivyo mwangaza pekee haukutosha kuhalalisha hitimisho hilo. Astra ilitambua utata huu na ikapendekeza sampuli dhibiti bora zaidi ili kutenganisha ishara hizo.
Uga angavu · mwanga unaopita kwenye sampuli
Chaneli ya 2 · iliyotiwa alama kwa SYTOX · 470–540 nm
Chaneli ya 3 · FUN-1 kijani · 525–580 nm
Maeneo yaleyale ya seli katika chaneli tatu; masafa ya ugunduzi yanaingiliana katika 525–540 nm. Masafa ya pamoja yanaruhusu ishara kuingiliana; kiwango cha mwingiliano hakijapimwa. Kila chaneli inaonyeshwa kwa skeli yake ya mstari ya ukubwa wa ishara, ambayo haibadiliki katika maeneo yote mawili; mwangaza hauwezi kulinganishwa kwa kiasi kati ya chaneli.
Utafiti wa kisayansi hutumia sana data za aina mbalimbali na huhitaji kutafsiri kinachoonekana na kufanya maamuzi kila wakati. Astra ilionyesha uboreshaji mkubwa katika kushughulikia data za aina mbalimbali zilizotolewa kama picha na video, pamoja na matokeo ghafi ya usomaji wa mfuatano wa vinasaba, vipimo vya kisomaji cha sahani, uchunguzi kwa hadubini na saitometri ya mtiririko.
Katika kiwango cha msingi kabisa, uboreshaji huu ulionekana kupitia uwezo wa GPT‑6 Astra wa kutambua maelezo madogo zaidi katika picha zilizopigwa wakati wa majaribio, na hivyo kutoa hitimisho sahihi zaidi kama inavyoonyeshwa katika mfano huu. Kazi hii iliwataka mawakala kutoa hitimisho kutokana na jaribio la kutengeneza nakala za DNA, ambalo linahitaji sana sampuli dhibiti. GPT‑5.6 Sol haikuona koloni zozote kwenye sahani dhibiti hasi na ikategemea uchunguzi huo kutoa hitimisho. GPT‑6 Astra iligundua kuwa sahani ilikuwa na lebo ya antibiotiki isiyo sahihi na kwa usahihi ikakataa kuitegemea kama sampuli dhibiti.
Picha asili
Lebo kwenye ukingo
Picha asili ya kipimo cha utendaji, ikiwa na lebo ya ukingoni iliyozungushiwa duara na kukuzwa. “LB Kan50” inatambulisha kanamycin, antibiotiki tofauti na ampicillin iliyotumika katika jaribio.
Wanasayansi wanapaswa kukumbuka maarifa ya kibayolojia yatokanayo na uzoefu pamoja na muktadha wa jaribio wanapochambua data ili kutafsiri kwa usahihi inachoonyesha. Astra ilionyesha uwezo bora zaidi wa kukumbuka muktadha huu na kuutumia katika uchambuzi wake wote.
Kazi moja ilionyesha seli zikionekana kwa uwazi kisha kupoteza uwazi katika mfululizo wa picha za hadubini. Wakati GPT‑5.6 Sol ilitafuta maelezo ya kibayolojia ya seli zilizoonekana kutoweka, GPT‑6 Astra ilitambua kwa usahihi z-stack: mfululizo wa picha zilizopigwa katika kina tofauti.
0 s
3 s
6 s
9 s
12 s
15 s
Fremu sita kutoka kwenye rekodi asili. Visanduku vya mistari iliyokatika vinaonyesha eneo lilelile kadiri hadubini inavyochanganua kina tofauti. Nyakati zinaonyesha nafasi ya uchezaji katika video iliyotolewa.
Alama za juu zaidi katika kipimo cha utendaji bado hazimaanishi kuwa miundo inaweza kufanya maamuzi ya kutegemewa maabarani. Mifano hii ya Astra inaonyesha jinsi dhana, majibu yanayotarajiwa na lebo zilizotolewa zinavyoweza kupewa kipaumbele kuliko ushahidi, na jinsi uchunguzi sahihi wa hatua ya kati unavyoweza kushindwa kuongoza uamuzi wa mwisho.
Astra inaruhusu dhana iliyozoeleka ichukue nafasi ya tafsiri inayoungwa mkono na sampuli dhibiti za jaribio. Inaweza kutofautisha makundi mawili ya mikanda ya koloni, lakini inadhani kuwa bidhaa kubwa zaidi ya PCR ingeonyesha mafanikio ya kutengeneza nakala. Kwa kutegemea dhana hiyo, inapendekeza njia 4, 6, 7 na 8; lakini ulinganisho wa sampuli dhibiti katika jibu la marejeleo unachagua njia 5, 9 na 10.
Jibu la marejeleo linachagua koloni 5, 9 na 10; Astra inapendekeza 4, 6, 7 na 8.
1: kiashiria · 2: mchanganyiko wa kutengeneza nakala · 3: plasmidi asili · 4–10: sampuli za koloni
Kutafsiri sampuli dhibiti
Njia ya 3 ina bidhaa ya PCR ya plasmidi asili pekee. Mkanda wake hutoa nafasi ya marejeleo ya plasmidi ya awali.
Katika tafsiri ya marejeleo, njia ya 2 ina mifumo yote miwili: uunganishaji usiokamilika huacha kiolezo/kiunzi cha awali pamoja na bidhaa mpya.
Koloni zinazotokana na mchakato huu zinaweza kuwa na plasmidi ya awali au mpya. Linganisha mikanda yake na mifumo hii ya marejeleo.
Chaguo la marejeleo: 5, 9 na 10
Chaguo la Astra: 4, 6, 7 na 8. Astra inapendekeza kundi hili ikidokeza kuwa bidhaa kubwa zaidi ya PCR inawakilisha muundo wa DNA uliokusudiwa.
Upangaji wa makundi kwa kuangalia picha ni sahihi, lakini utambulisho wa makundi hayo katika jaribio umegeuzwa ukilinganishwa na marejeleo. Kwa hivyo, Astra inachagua koloni zisizo sahihi kutoka kwenye matokeo ya PCR ya koloni, jambo ambalo lingesababisha utakaso wa plasmidi isiyo sahihi katika hatua zinazofuata.
Astra inapuuza matokeo ya uchunguzi yanayopingana na tafsiri inayopendelea. Inahitimisha kuwa vakyuli, ambazo ni vifuko vilivyo ndani ya seli, kwa ujumla ni nyeusi zaidi kuliko sehemu nyingine za seli zinazozizunguka, ingawa baadhi zinaonekana kuwa na mwangaza zaidi katika picha ileile. Mionekano yote miwili ni muhimu: kubadilisha ulengaji wa hadubini kunaweza kugeuza utofauti wa mwangaza, kwa hivyo mifano yenye weusi zaidi haiwezi kutumiwa kuweka kanuni ya jumla.
Mwonekano wenye weusi zaidi
Mwonekano wenye mwangaza zaidi
Hitimisho la jumla la Astra kuwa vakyuli ni nyeusi zaidi linapuuza vakyuli zenye mwangaza zaidi zinazoonekana katika uga huohuo.
Kile ambacho jibu hilo linapuuza
Baadhi ya seli zina utofauti wa mwangaza ulio kinyume. Mionekano yote miwili hutokea kwa sababu kulenga kina tofauti kunaweza kugeuza utofauti wa mwangaza.
Astra inachunguza maeneo kadhaa na hata kutaja kuwa utofauti wa mwangaza hubadilika kulingana na ulengaji. Kisha inazipa uzito zaidi seli inazosema zimelengwa vizuri zaidi, na katika jibu la mwisho inabakiza tu maelezo kuwa vakyuli zake ni nyeusi zaidi. Maeneo yenye mwangaza zaidi yanayopingana na maelezo hayo yamechunguzwa lakini hayazingatiwi katika hitimisho.
Alama za kuhesabu za Astra hazilingani kwa kutegemewa na koloni moja moja: inashindwa kutofautisha koloni zilizo karibu sana, inakosa baadhi ya koloni zinazoonekana na kuweka alama kwenye aga tupu. Matokeo ya jumla kwenye sahani hii ni hesabu iliyozidi kwa takribani 12% ikilinganishwa na jibu la marejeleo la kipimo cha utendaji.
Picha asili
Alama za kuhesabu za Astra
Picha asili
Alama za kuhesabu za Astra
Picha asili
Alama za kuhesabu za Astra
A: alama moja ya kuhesabu kati ya koloni jirani. B: koloni mbili zinazoonekana zilizoachwa bila alama. C: aga tupu iliyohesabiwa kama koloni. Miduara myekundu inaonyesha maeneo yaliyohesabiwa na Astra. Mishale myeusi ni vielekezi vilivyoongezwa na wahariri.
Hesabu isiyo sahihi ya koloni huathiri moja kwa moja makadirio ya ufanisi wa kuingiza DNA ndani ya seli. Ikiwa ujazo uliowekwa kwenye sahani na kiwango cha kupunguza ukolezi havibadiliki, hesabu iliyozidi huongeza makadirio hayo kwa uwiano huohuo.
Kuharakisha utafiti wa kibayolojia kunahitaji kufanya kazi za kila siku kwa usahihi. BioBasicsBench inalenga kuboresha kazi hizo: kutafsiri data ghafi za majaribio, kukagua sampuli dhibiti na kutambua wakati hitimisho halina ushahidi wa kuliunga mkono. Maendeleo katika kazi hizi yanaweza kuwasaidia wanasayansi kutumia muda mfupi zaidi kutatua matatizo na muda mwingi zaidi kuamua majaribio ya kufanya baadaye. Kufuatilia uwezo huu pia kutatusaidia kuelewa athari zake kwa usalama wa kibayolojia na ulinzi dhidi ya vitisho vya kibayolojia.
