రోజువారీ వెట్‌ల్యాబ్ పనుల్లో AI ఏజెంట్‌ల సామర్థ్యాన్ని కొలవడం

ఆర్టిఫిషియల్ జనరల్ ఇంటెలిజెన్స్ మానవాళి అంతటికీ మేలు చేసేలా చూడటమే మా లక్ష్యం. ఆ లక్ష్యంలో భాగంగా, వ్యాధులను అర్థం చేసుకోవడం నుంచి కొత్త చికిత్సలను అభివృద్ధి చేయడం వరకు జీవశాస్త్ర పరిశోధనను వేగవంతం చేయడంలో శాస్త్రవేత్తలకు తోడ్పడాలనుకుంటున్నాం. ఈ కృషికి AI ఏజెంట్‌లు తోడ్పడాలంటే, జీవ నమూనాలతో ప్రయోగాలు చేసే వెట్‌ల్యాబ్‌లలో శాస్త్రవేత్తలు రోజూ పరిశీలించే ప్రయోగ ఆధారాలను అవి నమ్మదగిన రీతిలో అర్థం చేసుకోవాలి. రోజువారీ వెట్‌ల్యాబ్ పనిలో విఫలమైన ప్రయోగాలు, అస్పష్టమైన చిత్రాలు, పరస్పర విరుద్ధమైన పరిశీలనలు ఎదురవుతాయి. ప్రస్తుత బెంచ్‌మార్క్‌లు శాస్త్రీయ పత్రాల కోసం ఎంపిక చేసిన చార్ట్‌లు, చిత్రాల ఆధారంగా రూపొందించబడ్డాయి. అవి ఈ అస్పష్టతను, దాన్ని పరిష్కరించడానికి అవసరమైన లోప నిర్ధారణను పరీక్షించలేకపోవచ్చు. అందుకే BioBasicsBenchను పరిచయం చేస్తున్నాం. సాధారణ వెట్‌ల్యాబ్ విశ్లేషణను ఏజెంట్‌లు ఎంత బాగా నిర్వహిస్తాయో కొలిచే ఈ కొత్త బెంచ్‌మార్క్‌ను, ఎంజైమ్ రూపకల్పనపై దృష్టి పెట్టిన జీవసాంకేతిక సంస్థ Ligoతో కలిసి అభివృద్ధి చేశాం.

ఈ బెంచ్‌మార్క్‌లోని 100 పనులు ఏజెంట్‌లు ముడి ప్రయోగ డేటాను అర్థం చేసుకోగలవా, లోపాలను గుర్తించగలవా, ఒక నిర్ధారణకు ఆధారాలు సరిపోవని తెలుసుకోగలవా అనేవి పరీక్షిస్తాయి. ఈ పనులను సరిగ్గా చేయడం ముఖ్యం. ఒక చిత్రాన్ని తప్పుగా అర్థం చేసుకున్నా, ప్రయోగ ఫలితాలను తనిఖీ చేసే నియంత్రణ నమూనాల్లోని సమస్యను విస్మరించినా, శాస్త్రవేత్తలు తప్పు నిర్ధారణకు రావచ్చు. దాంతో వారి ప్రశ్నకు సమాధానం ఇవ్వలేని ప్రయోగాలపై సమయం వెచ్చించవచ్చు.

ప్రతి పనికి మరింత రీజనింగ్‌ను అనుమతించే ‘xhigh’ అమరికలో, GPT‑6 Astra సాధించగల మొత్తం మార్కుల్లో సగటున 66.7% పొందింది. GPT‑5.6 Solకు ఇది 43.8%. సాధారణ ప్రయోగశాల విశ్లేషణలో పురోగతి కనిపిస్తున్నట్లు ఈ ఫలితాలు చూపిస్తున్నాయి. అయితే చిత్రాలను అర్థం చేసుకోవడం, నియంత్రణ నమూనాలను తనిఖీ చేయడం, ప్రయోగ సందర్భాన్ని వర్తింపజేయడంలో ఇంకా మెరుగుపడే అవకాశం ఉంది.

జెల్ చిత్రాలు, కాలనీ ప్లేట్ల నుంచి సూక్ష్మదర్శిని చిత్రాలు, పరికరాల రీడింగ్‌ల వరకు ముడి ప్రయోగ ఆధారాలను BioBasicsBench ఉపయోగిస్తుంది.

BioBasicsBenchలో సాధారణ వెట్‌ల్యాబ్ పనికి సంబంధించిన ఐదు విభాగాల్లో 100 పనులు ఉన్నాయి: ప్రోటీన్ పద్ధతులు, చిత్రీకరణ మరియు కణమాపనం, పరిమాణ నిర్ధారణ మరియు పరీక్షలు, న్యూక్లిక్ ఆమ్ల పద్ధతులు, అణు క్లోనింగ్. జెల్‌లోని DNA నమూనా అణుభారాన్ని గుర్తించడం వంటి సరళమైన అభ్యర్థనల నుంచి పరీక్ష ఫలితాలను వివరంగా విశ్లేషించడం వరకు ఈ పనులు విస్తరించి ఉన్నాయి. అయితే ఇవన్నీ వెట్‌ల్యాబ్ శాస్త్రవేత్తలు నమ్మదగిన రీతిలో పూర్తి చేయగలగాల్సిన సాధారణ పనులే.

శాస్త్రవేత్తలు తమ సొంత ప్రయోగాల డేటాతో ఈ పనులను రూపొందించి, ప్రతి ప్రశ్నకు నిపుణులు రాసిన మార్కుల కేటాయింపు ప్రమాణాలను జత చేశారు. ప్రతి పనిని మొదట దాన్ని రచించని Ligo శాస్త్రవేత్త అంతర్గతంగా సమీక్షించారు. తర్వాత వెట్‌ల్యాబ్‌లో పనిచేసే పీహెచ్‌డీ స్థాయి శాస్త్రవేత్త బాహ్య సమీక్ష జరిపారు. చివరగా మరో అంతర్గత సమీక్ష జరిగింది.

కోరిన నిర్ధారణ, కొలత లేదా సిఫార్సుతో ఏజెంట్‌లు ఒక క్రమబద్ధమైన సమాధానాన్ని ఇస్తాయి. అవసరమైన చోట దానికి మద్దతుగా రీజనింగ్‌ను కూడా అందిస్తాయి. మూల్యాంకన పట్టికలోని ఒక్కో ప్రమాణం ప్రకారం సమాధానాలకు మార్కులు లభిస్తాయి. దీంతో సరైన నిర్ధారణను, పాక్షికంగా సరైన విశ్లేషణను బెంచ్‌మార్క్ వేరు చేయగలదు. జీవశాస్త్ర జ్ఞానం, చిత్రాలు మరియు ఇతర డేటాను అర్థం చేసుకోవడం, లోపాల గుర్తింపు, ప్రయోగ విధానాల అవగాహన వంటి పలు నైపుణ్యాలను చాలా పనులు కలిపి పరీక్షిస్తాయి.

శాస్త్రవేత్తలు ఉపయోగించే ఆధారాల రూపాలను ఇన్‌పుట్‌లలో అలాగే ఉంచారు: జెల్, బ్లాట్ చిత్రాలు, ప్లేట్ల ఛాయాచిత్రాలు, సూక్ష్మదర్శిని చిత్ర సముదాయాలు, అనుక్రమ పఠనాలు, ప్లేట్ రీడర్ ఎగుమతులు, ప్రయోగ బల్లపై చేసే పనుల వీడియోలు. ఒకే పనిలో పలు రకాల డేటా ఉండవచ్చు. ల్యాడర్ చార్ట్‌లు, ప్లాస్మిడ్ పటాలు వంటి సూచన పత్రాలు ప్రయోగ ఆధారాలను అర్థం చేసుకోవడానికి తోడ్పడతాయి.

శాస్త్రవేత్తలు తమ సొంత ప్రయోగాల డేటాతో ఈ పనులను రచించారు. ప్రయోగ ఆధారాలకు ఒక ప్రశ్నను, నిపుణులు రాసిన మార్కుల కేటాయింపు పట్టికను జత చేశారు. ప్రతి పనిని మొదట దాన్ని రచించని Ligo శాస్త్రవేత్త అంతర్గతంగా సమీక్షించారు. తర్వాత వెట్‌ల్యాబ్‌లో పనిచేసే పీహెచ్‌డీ స్థాయి శాస్త్రవేత్త బాహ్య సమీక్ష జరిపారు. చివరగా మరో అంతర్గత సమీక్ష జరిగింది. సమీక్షకులు ప్రాంప్ట్, ప్రయోగ ఆధారాలు, మూల్యాంకన పట్టిక, రచయిత గమనికలు, మార్కులు వేసిన ఒక మోడల్ ప్రయత్నాన్ని తనిఖీ చేశారు.

ప్రతి పనికి సంబంధించిన మూల్యాంకన పట్టిక ఆధారంగా సమాధానాలకు స్కోర్లు ఇస్తారు. ఈ పట్టికలో ఒక్కో ప్రమాణానికి మార్కులు కేటాయిస్తారు. పనిని బట్టి, ఈ ప్రమాణాలు నిర్ధారణను, సంఖ్యాపరమైన ఫలితాలను, సమర్థించే రీజనింగ్‌ను లేదా ఆధారాలు సరిపోవని గుర్తించడాన్ని అంచనా వేస్తాయి.

BioBasicsBenchపై ఏడు మోడల్‌లను మూల్యాంకనం చేశాం: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna, GPT‑6 Astra. ఈ మూల్యాంకనంలో మోడల్, రీజనింగ్ స్థాయికి సంబంధించిన 37 అమరికలు ఉన్నాయి. ప్రతి అమరికలో 100 పనుల్లో ఒక్కో పనికి ఐదు ప్రయత్నాల చొప్పున, మొత్తం 18,500 ఫలితాలు పొందాం.

మేము సగటు ప్రతిఫలాన్ని నివేదిస్తున్నాం: ఇది సాధించగల మొత్తం మార్కుల్లో శాతంగా చూపిన సగటు పని స్కోరు. ప్రతి పనికి చెందిన ఐదు ప్రయత్నాలను కలిపి ఉంచి, మొత్తం పనులను పునఃనమూనా ఎంపిక చేయడం ద్వారా లెక్కించిన 95% విశ్వాస అంతరాలను దోష పట్టీలు చూపిస్తాయి.

తక్కువ రీజనింగ్ స్థాయిలోనూ GPT‑6 Astra, GPT‑5.6 Sol కంటే గణనీయంగా మెరుగ్గా పనిచేస్తుంది. ఈ మెరుగుదలలు, రోజువారీ వెట్‌ల్యాబ్ విశ్లేషణలో పనితీరును మెరుగుపరచడానికి మరింత బలమైన అంతర్నిర్మిత బహురూప సమాచార సామర్థ్యాలు కీలకం కావచ్చని సూచిస్తున్నాయి.

విజ్ఞానశాస్త్రంలో తరచూ జరిగే పొరపాటు డేటాకు మించిన అర్థాలను ఆపాదించడం. ప్రత్యేకించి, ఒక పరికల్పనను పరీక్షించేటప్పుడు ఏర్పడే పక్షపాతం దీనికి దారితీయవచ్చు. డేటా ఏమి చూపగలదో దాని పరిమితిని గుర్తించి, ఆధారంలేని నిర్ధారణలకు రాకుండా ఉండటంలో Astra మెరుగైన సామర్థ్యాన్ని చూపింది.

ఈ ఉదాహరణలో, మృత కణాలను గుర్తించే రంగు పదార్థం నుంచి వచ్చిన సంకేతం ఆధారంగా GPT‑5.6 Sol కణాలను మృత కణాలుగా వర్గీకరించింది. కానీ గుర్తింపు పరికరం రెండో రంగు పదార్థం నుంచి వచ్చే కాంతిని కూడా గ్రహించగలదు. కాబట్టి ప్రకాశం ఒక్కటే ఆ నిర్ధారణకు సరిపోదు. Astra ఈ అస్పష్టతను గుర్తించి, సంకేతాలను వేరు చేయడానికి మెరుగైన నియంత్రణ నమూనాలు అవసరమని పేర్కొంది.

శాస్త్రీయ పరిశోధనలో అనేక రూపాల్లో సమాచారం ఉంటుంది. దృశ్యాలను నిరంతరం అర్థం చేసుకుంటూ నిర్ణయాలు తీసుకోవాల్సి ఉంటుంది. ఛాయాచిత్రాలు, వీడియోలు, అలాగే అనుక్రమ నిర్ధారణ, ప్లేట్ రీడర్ పరీక్షలు, సూక్ష్మదర్శనం, ఫ్లో సైటోమెట్రీ నుంచి వచ్చిన ముడి ఫలితాల రూపంలోని బహురూప డేటాను విశ్లేషించడంలో Astra గణనీయమైన మెరుగుదలను చూపింది.

ప్రాథమిక స్థాయిలో చూస్తే, ప్రయోగాల సమయంలో తీసిన చిత్రాల్లోని సూక్ష్మ వివరాలను గుర్తించి, మరింత కచ్చితమైన నిర్ధారణలకు రావడంలో GPT‑6 Astra సామర్థ్యం ద్వారా ఈ మెరుగుదల స్పష్టమైంది. ఈ ఉదాహరణలో అదే కనిపిస్తుంది. నియంత్రణ నమూనాలు అత్యవసరమైన DNA క్లోనింగ్ ప్రయోగం నుంచి నిర్ధారణలకు రావాలని ఈ పని ఏజెంట్‌లను కోరింది. ప్రతికూల నియంత్రణ ప్లేట్‌పై కాలనీలు లేవని GPT‑5.6 Sol గమనించి, దాని ఆధారంగా నిర్ధారణలకు వచ్చింది. ప్లేట్ లేబుల్‌పై తప్పు యాంటీబయాటిక్ పేరు ఉందని GPT‑6 Astra గుర్తించి, దాన్ని నమ్మదగిన నియంత్రణ నమూనాగా అంగీకరించకపోవడం సరైనదే.

డేటా ఏమి సూచిస్తుందో సరిగ్గా అర్థం చేసుకోవాలంటే, శాస్త్రవేత్తలు దాన్ని విశ్లేషించేటప్పుడు అనుభవసిద్ధ జీవశాస్త్ర జ్ఞానాన్ని, ప్రయోగ సందర్భాన్ని దృష్టిలో ఉంచుకోగలగాలి. ఈ సందర్భాన్ని గుర్తుంచుకుని, విశ్లేషణ అంతటా వర్తింపజేయడంలో Astra మెరుగైన సామర్థ్యాన్ని చూపింది.

ఒక పనిలో సూక్ష్మదర్శిని చిత్రాల వరుసలో కణాలు స్పష్టంగా కనిపిస్తూ, మళ్లీ అస్పష్టంగా మారుతూ ఉన్నాయి. కణాలు అదృశ్యమవుతున్నట్లు కనిపించడానికి GPT‑5.6 Sol జీవశాస్త్రపరమైన వివరణ కోసం వెతికింది. కానీ GPT‑6 Astra అది వేర్వేరు లోతుల్లో తీసిన చిత్రాల వరుస అయిన జెడ్-స్టాక్ అని సరిగ్గా గుర్తించింది.

బెంచ్‌మార్క్‌లో ఎక్కువ స్కోర్లు వచ్చినంత మాత్రాన మోడల్‌లు ప్రయోగశాలలో నమ్మదగిన నిర్ణయాలు తీసుకోగలవని ఇంకా చెప్పలేం. ఊహలు, ఆశించిన సమాధానాలు, అందించిన లేబుళ్లు ఆధారాలను ఎలా పక్కకు నెట్టగలవో ఈ Astra ఉదాహరణలు చూపిస్తాయి. మధ్యలో చేసిన సరైన పరిశీలన కూడా తుది నిర్ణయాన్ని ప్రభావితం చేయడంలో ఎలా విఫలమవుతుందో తెలియజేస్తాయి.

ప్రయోగ నియంత్రణ నమూనాలు సమర్థించే వివరణ కంటే, పరిచితమైన ఊహకే Astra ప్రాధాన్యం ఇస్తుంది. ఇది కాలనీ బ్యాండ్‌ల రెండు సమూహాలను వేరు చేయగలదు. కానీ పెద్ద PCR ఉత్పత్తి విజయవంతమైన క్లోనింగ్‌ను సూచిస్తుందని ఊహిస్తుంది. ఆ ఊహతో 4, 6, 7, 8 లేన్‌లను ప్రతిపాదిస్తుంది; కానీ ప్రామాణిక సమాధానంలో నియంత్రణ నమూనాలతో పోల్చి 5, 9, 10 లేన్‌లను ఎంచుకుంటారు.

తాను మొగ్గుచూపిన వివరణకు విరుద్ధమైన పరిశీలనలను Astra పక్కన పెడుతుంది. కణాల లోపలి గదులైన రిక్తికలు, వాటి చుట్టూ ఉన్న కణ భాగం కంటే సాధారణంగా ముదురుగా ఉంటాయని ఇది నిర్ధారిస్తుంది. అయితే అదే చిత్రంలో కొన్ని రిక్తికలు లేతగా కనిపిస్తాయి. రెండు రూపాలూ ముఖ్యమే: సూక్ష్మదర్శిని ఫోకస్‌ను మార్చడం వల్ల వెలుగు-చీకటి వ్యత్యాసం తారుమారు కావచ్చు. కాబట్టి ముదురుగా కనిపించే ఉదాహరణలతో సాధారణ నియమాన్ని స్థాపించలేం.

Astra లెక్కింపు గుర్తులు ఒక్కో కాలనీకి నమ్మదగిన రీతిలో సరిపోలడం లేదు: దగ్గరగా ఉన్న కాలనీలను వేరు చేయలేకపోతుంది, కనిపించే కాలనీలను మిస్ అవుతుంది, ఖాళీ అగార్‌పైనా గుర్తులు పెడుతుంది. మొత్తంగా, ఈ ప్లేట్‌పై బెంచ్‌మార్క్ ప్రామాణిక లెక్క కంటే సుమారు 12% ఎక్కువగా లెక్కించింది.

కాలనీల లెక్క తప్పితే, కణాల్లోకి DNA ఎంత సమర్థవంతంగా ప్రవేశపెట్టబడిందనే అంచనా నేరుగా ప్రభావితమవుతుంది. ప్లేట్‌పై వేసిన ద్రవ పరిమాణం, పలుచన నిష్పత్తి స్థిరంగా ఉన్నప్పుడు, ఎక్కువగా లెక్కించడం వల్ల ఆ అంచనా కూడా అదే నిష్పత్తిలో పెరుగుతుంది.

జీవశాస్త్ర పరిశోధనను వేగవంతం చేయాలంటే రోజువారీ పనులను సరిగ్గా చేయాలి. BioBasicsBench ఆ పనులను మెరుగుదలకు లక్ష్యంగా చేస్తుంది: ముడి ప్రయోగ డేటాను అర్థం చేసుకోవడం, నియంత్రణ నమూనాలను తనిఖీ చేయడం, నిర్ధారణకు ఆధారాలు లేనప్పుడు గుర్తించడం. ఈ పనుల్లో పురోగతి వల్ల శాస్త్రవేత్తలు లోపాల పరిష్కారానికి తక్కువ సమయం, తర్వాత ఏ ప్రయోగాలు చేయాలో నిర్ణయించడానికి ఎక్కువ సమయం కేటాయించగలరు. ఈ సామర్థ్యాలను గమనిస్తూ ఉండటం వల్ల జీవసురక్ష, జీవభద్రతపై వాటి ప్రభావాలను కూడా అర్థం చేసుకోగలం.