AI એજન્ટો રોજિંદું વેટ-લેબ વિજ્ઞાન કેવી રીતે સંભાળે છે તેનું માપન

આર્ટિફિશિયલ જનરલ ઇન્ટેલિજન્સ સમગ્ર માનવજાતને લાભ આપે તે સુનિશ્ચિત કરવું અમારું ધ્યેય છે. આ ધ્યેયના ભાગરૂપે, અમે વૈજ્ઞાનિકોને જૈવિક સંશોધનને વેગ આપવામાં મદદ કરવા માગીએ છીએ—રોગોને સમજવાથી લઈને નવી સારવાર વિકસાવવા સુધી. AI એજન્ટો તેમાં યોગદાન આપી શકે તે માટે તેમણે પ્રાયોગિક પુરાવાનું વિશ્વસનીય અર્થઘટન કરવું જરૂરી છે. વૈજ્ઞાનિકો વેટ લેબમાં જૈવિક નમૂનાઓ સાથે પ્રયોગો કરતી વખતે રોજ આવા પુરાવા સાથે કામ કરે છે. વેટ લેબના રોજિંદા કામમાં નિષ્ફળ પ્રયોગો, અસ્પષ્ટ છબીઓ અને પરસ્પરવિરોધી અવલોકનોનો સામનો કરવો પડે છે. હાલના બેન્ચમાર્ક વૈજ્ઞાનિક સંશોધનપત્રો માટે પસંદ કરાયેલા આલેખો અને છબીઓ પર આધારિત છે. તેમાં આ અસ્પષ્ટતા અને તેને ઉકેલવા માટે જરૂરી ખામીશોધન ધ્યાન બહાર રહી શકે છે. એટલા માટે અમે BioBasicsBench રજૂ કરી રહ્યા છીએ. ઉત્સેચકોની રચના પર કામ કરતી જૈવપ્રૌદ્યોગિકી કંપની Ligo સાથે વિકસાવેલો આ નવો બેન્ચમાર્ક માપે છે કે એજન્ટો વેટ લેબના નિયમિત વિશ્લેષણમાં કેટલા સક્ષમ છે.

બેન્ચમાર્કનાં 100 કાર્યો એ કસોટે છે કે એજન્ટો અપ્રક્રિયિત પ્રાયોગિક ડેટાનું અર્થઘટન કરી શકે છે કે નહીં, ભૂલો ઓળખી શકે છે કે નહીં અને પુરાવા કોઈ તારણને સમર્થન આપવા પૂરતા ન હોય ત્યારે તે જાણી શકે છે કે નહીં. આ કાર્યો યોગ્ય રીતે કરવાં જરૂરી છે. છબીનું ખોટું અર્થઘટન કરવાથી કે પ્રયોગનાં પરિણામો ચકાસવા વપરાયેલા નિયંત્રણોમાંની સમસ્યા અવગણવાથી વૈજ્ઞાનિકો ખોટું તારણ કાઢી શકે છે અને તેમના પ્રશ્નનો જવાબ મેળવવામાં મદદ ન કરે એવા પ્રયોગોમાં સમય ખર્ચી શકે છે.

દરેક કાર્ય માટે વધુ રিজনিংની છૂટ આપતા “xhigh” સેટિંગ પર GPT‑6 Astraએ ઉપલબ્ધ ગુણમાંથી સરેરાશ 66.7% મેળવ્યા, જ્યારે GPT‑5.6 Solએ 43.8% મેળવ્યા. પરિણામો પ્રયોગશાળાના નિયમિત વિશ્લેષણમાં પ્રગતિ દર્શાવે છે. જોકે છબીઓનું અર્થઘટન કરવામાં, નિયંત્રણો ચકાસવામાં અને પ્રયોગનો સંદર્ભ લાગુ કરવામાં હજુ સુધારાની અવકાશ છે.

BioBasicsBench અપ્રક્રિયિત પ્રાયોગિક પુરાવાનો ઉપયોગ કરે છે—જેલની છબીઓ અને કોલોની પ્લેટથી લઈને સૂક્ષ્મદર્શકીય નિરીક્ષણ અને ઉપકરણોનાં વાંચનો સુધી.

BioBasicsBenchમાં વેટ લેબના નિયમિત કામનાં પાંચ ક્ષેત્રોમાં 100 કાર્યો છે: પ્રોટીન પદ્ધતિઓ, છબીકરણ અને કોષમાપન, પરિમાણન અને પરીક્ષણો, ન્યુક્લિઇક ઍસિડ પદ્ધતિઓ અને આણ્વિક ક્લોનિંગ. કાર્યોમાં જેલમાંના DNA નમૂનાનું આણ્વિક વજન વાંચવા જેવી સરળ વિનંતીઓથી લઈને પરીક્ષણોના વિગતવાર વિશ્લેષણ સુધીનું કામ સામેલ છે. જોકે બધાં કાર્યો એવાં નિયમિત કામ છે જે વેટ-લેબ વૈજ્ઞાનિકો વિશ્વસનીય રીતે કરી શકવા જોઈએ.

વૈજ્ઞાનિકોએ પોતાના પ્રયોગોના ડેટાથી આ કાર્યો બનાવ્યાં અને દરેક પ્રશ્ન સાથે નિષ્ણાતોએ લખેલા ગુણાંકન માપદંડ જોડ્યા. દરેક કાર્યની પહેલાં તેને ન લખનાર Ligoના વૈજ્ઞાનિકે આંતરિક સમીક્ષા કરી. પછી વેટ લેબમાં કામ કરતા પીએચડી-સ્તરના વૈજ્ઞાનિકે બાહ્ય સમીક્ષા કરી અને અંતે ફરી આંતરિક સમીક્ષા થઈ.

એજન્ટો માંગેલું તારણ, માપન કે ભલામણ અને જ્યાં જરૂરી હોય ત્યાં તેને સમર્થન આપતું রিজনিং ધરાવતો સુવ્યવસ્થિત જવાબ આપે છે. ગુણાંકન સૂચિના દરેક માપદંડ પ્રમાણે જવાબોને ગુણ મળે છે, જેથી બેન્ચમાર્ક સાચા તારણ અને આંશિક રીતે સાચા વિશ્લેષણ વચ્ચે ભેદ પાડી શકે છે. મોટાભાગનાં કાર્યો એકસાથે અનેક કૌશલ્યોની કસોટી કરે છે, જેમાં જૈવિક જ્ઞાન, છબીઓ અને અન્ય ડેટાનું અર્થઘટન, ભૂલોની ઓળખ અને કાર્યવિધિની સમજ સામેલ છે.

આપેલી સામગ્રીમાં પુરાવાનાં એ જ સ્વરૂપો જાળવ્યાં છે જેની સાથે વૈજ્ઞાનિકો કામ કરે છે: જેલ અને બ્લોટની છબીઓ, પ્લેટના ફોટોગ્રાફ, સૂક્ષ્મદર્શકીય છબીઓના સ્તરવાર સમૂહો, અનુક્રમણ રીડ, પ્લેટ રીડરમાંથી નિકાસ કરેલો ડેટા અને પ્રયોગમેજ પરના કામના વિડિયો. એક કાર્યમાં અનેક પ્રકારનો ડેટા હોઈ શકે છે. લેડર ચાર્ટ અને પ્લાઝ્મિડ નકશા જેવાં સંદર્ભપત્રકો પ્રાયોગિક પુરાવાના અર્થઘટનમાં મદદ કરે છે.

વૈજ્ઞાનિકોએ પોતાના પ્રયોગોના ડેટાથી કાર્યો લખ્યાં. તેમણે પ્રાયોગિક પુરાવા સાથે પ્રશ્ન અને નિષ્ણાતે લખેલી ગુણાંકન સૂચિ જોડી. દરેક કાર્યની પહેલાં તેને ન લખનાર Ligoના વૈજ્ઞાનિકે આંતરિક સમીક્ષા કરી. પછી વેટ લેબમાં કામ કરતા પીએચડી-સ્તરના વૈજ્ઞાનિકે બાહ્ય સમીક્ષા કરી અને અંતે ફરી આંતરિક સમીક્ષા થઈ. સમીક્ષકોએ પ્રોમ્પ્ટ, પ્રાયોગિક પુરાવા, ગુણાંકન સૂચિ, લેખકની નોંધો અને ગુણાંકિત મોડલ પ્રયાસ તપાસ્યા.

જવાબોને કાર્યની ગુણાંકન સૂચિ પ્રમાણે ગુણ આપવામાં આવે છે, જેમાં દરેક માપદંડ માટે ગુણ ફાળવેલા હોય છે. કાર્ય પ્રમાણે, આ માપદંડો તારણ, આંકડાકીય પરિણામો, સમર્થક রিজনিং અથવા પુરાવા અપૂરતા છે તેની ઓળખનું મૂલ્યાંકન કરે છે.

અમે BioBasicsBench પર સાત મોડલનું મૂલ્યાંકન કર્યું: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna અને GPT‑6 Astra. મૂલ્યાંકનમાં મોડલ અને রিজনিং પ્રયત્નનાં 37 સેટિંગ સામેલ છે. દરેક સેટિંગ પર 100 કાર્યોમાંથી દરેક માટે પાંચ પ્રયાસ કરવામાં આવ્યા, જેનાથી કુલ 18,500 પરિણામો મળ્યાં.

અમે સરેરાશ પુરસ્કાર રજૂ કરીએ છીએ: કાર્યનો સરેરાશ ગુણ, જે ઉપલબ્ધ ગુણની ટકાવારી તરીકે દર્શાવાય છે. ભૂલપટ્ટીઓ 95% વિશ્વાસ અંતરાલ દર્શાવે છે. તેની ગણતરી સંપૂર્ણ કાર્યોનું પુનઃનમૂનાકરણ કરીને કરવામાં આવી છે, જેમાં દરેક કાર્યના પાંચેય પ્રયાસ સાથે રાખવામાં આવ્યા છે.

ઓછા রিজনিং પ્રયત્ને પણ GPT‑6 Astra, GPT‑5.6 Sol કરતાં નોંધપાત્ર રીતે સારું પ્રદર્શન કરે છે. આ સુધારા સૂચવે છે કે બહુવિધ માધ્યમોને સીધાં સમજવાની વધુ મજબૂત ક્ષમતાઓ રોજિંદા વેટ-લેબ વિશ્લેષણમાં પ્રદર્શન સુધારવાની ચાવી બની શકે છે.

વિજ્ઞાનમાં ડેટામાંથી હદથી વધુ અર્થ કાઢવાની ભૂલ સામાન્ય છે, ખાસ કરીને પરિકલ્પનાની કસોટી કરતી વખતે ઊભા થતા પૂર્વગ્રહને જોતાં. ડેટા શું બતાવી શકે તેની મર્યાદા પારખવામાં અને આધારવિહીન તારણોથી દૂર રહેવામાં Astraએ વધુ સારી ક્ષમતા દર્શાવી.

આ ઉદાહરણમાં, મૃત કોષોને ઓળખવા માટે વપરાતા રંગકના સંકેતના આધારે GPT‑5.6 Solએ કોષોને મૃત ગણાવ્યા. પરંતુ શોધક બીજા રંગકનો પ્રકાશ પણ પકડી શકતું હતું, તેથી માત્ર તેજસ્વિતાના આધારે એ તારણ યોગ્ય ન હતું. Astraએ આ અસ્પષ્ટતા ઓળખી અને સંકેતોને અલગ પાડવા વધુ સારી નિયંત્રણ વ્યવસ્થાની જરૂર જણાવી.

વૈજ્ઞાનિક સંશોધનમાં અનેક માધ્યમોનો વ્યાપક ઉપયોગ થાય છે, જેમાં સતત દૃશ્ય માહિતીનું અર્થઘટન અને નિર્ણય લેવાની જરૂર પડે છે. ફોટા અને વિડિયો સ્વરૂપે અપાયેલા બહુવિધ માધ્યમોના ડેટા તેમજ અનુક્રમણ, પ્લેટ-રીડર પરીક્ષણો, સૂક્ષ્મદર્શકીય નિરીક્ષણ અને ફ્લો સાયટોમેટ્રીના અપ્રક્રિયિત પરિણામોનું વિશ્લેષણ કરવામાં Astraએ નોંધપાત્ર સુધારો દર્શાવ્યો.

સૌથી પાયાના સ્તરે, આ સુધારો GPT‑6 Astraની પ્રયોગ દરમિયાન લેવાયેલી છબીઓમાંથી વધુ સૂક્ષ્મ વિગતો પારખવાની ક્ષમતામાં દેખાયો. તેના કારણે તે વધુ સચોટ તારણો કાઢી શક્યું, જેમ આ ઉદાહરણમાં દર્શાવ્યું છે. આ કાર્યમાં એજન્ટોને DNA ક્લોનિંગના પ્રયોગમાંથી તારણો કાઢવા કહેવાયું હતું, જેમાં નિયંત્રણ નમૂનાઓ અનિવાર્ય છે. GPT‑5.6 Solને નકારાત્મક નિયંત્રણ પ્લેટ પર કોઈ કોલોની દેખાઈ નહીં અને તેણે એ અવલોકનના આધારે તારણો કાઢ્યાં. GPT‑6 Astraએ નોંધ્યું કે પ્લેટ પર ખોટા પ્રતિજીવકનું લેબલ હતું અને તેને વિશ્વસનીય નિયંત્રણ તરીકે નકારવાનો યોગ્ય નિર્ણય લીધો.

ડેટાનું યોગ્ય અર્થઘટન કરવા માટે વૈજ્ઞાનિકોએ વિશ્લેષણ દરમિયાન અનુભવજન્ય જૈવિક જ્ઞાન અને પ્રયોગનો સંદર્ભ ધ્યાનમાં રાખવા જરૂરી છે. Astraએ આ સંદર્ભ જાળવી રાખવાની અને સમગ્ર વિશ્લેષણમાં તેને લાગુ કરવાની વધુ સારી ક્ષમતા દર્શાવી.

એક કાર્યમાં સૂક્ષ્મદર્શકીય છબીઓની શ્રેણીમાં કોષો ફોકસમાં આવતા અને તેમાંથી બહાર જતા દેખાતા હતા. GPT‑5.6 Solએ કોષો દેખીતી રીતે અદૃશ્ય થવા માટે જૈવિક કારણ શોધ્યું, જ્યારે GPT‑6 Astraએ તેને યોગ્ય રીતે ઝેડ-સ્ટૅક તરીકે ઓળખ્યું: જુદી જુદી ઊંડાઈએ લેવાયેલી છબીઓની શ્રેણી.

બેન્ચમાર્કમાં વધુ ગુણ મળવાનો અર્થ હજુ એ નથી કે મોડલ પ્રયોગશાળામાં વિશ્વસનીય નિર્ણયો લઈ શકે છે. Astraનાં આ ઉદાહરણો દર્શાવે છે કે ધારણાઓ, અપેક્ષિત જવાબો અને અપાયેલાં લેબલ કેવી રીતે પુરાવા કરતાં વધુ પ્રભાવશાળી બની શકે છે. વળી, વચ્ચે કરેલું સાચું અવલોકન પણ અંતિમ નિર્ણયને દોરવામાં નિષ્ફળ જઈ શકે છે.

Astra પ્રયોગના નિયંત્રણો સમર્થિત અર્થઘટન કરતાં જાણીતી ધારણાને વધુ મહત્ત્વ આપે છે. તે કોલોનીના પટ્ટાઓના બે જૂથ વચ્ચે ભેદ પાડી શકે છે, પરંતુ મોટું PCR ઉત્પાદન સફળ ક્લોનિંગની ઓળખ આપશે એવું માની લે છે. એ ધારણાના આધારે તે લેન 4, 6, 7 અને 8 સૂચવે છે; જ્યારે સંદર્ભ જવાબમાં નિયંત્રણો સાથેની સરખામણીના આધારે લેન 5, 9 અને 10 પસંદ કરાઈ છે.

Astra પોતાના પસંદગીના અર્થઘટનને ખોટું પાડતાં અવલોકનોને ઓછું મહત્ત્વ આપે છે. તે એવું તારણ કાઢે છે કે કોષની અંદરના ખંડો એટલે કે રસધાનીઓ સામાન્ય રીતે કોષના આસપાસના ભાગ કરતાં ઘેરી હોય છે, જોકે એ જ છબીમાં કેટલીક રસધાનીઓ આછી દેખાય છે. બંને દેખાવ મહત્ત્વના છે: સૂક્ષ્મદર્શકનું ફોકસ બદલવાથી ઉજાસનો વિરોધાભાસ ઊલટાઈ શકે છે, તેથી ઘેરા દેખાતા નમૂનાઓથી કોઈ સામાન્ય નિયમ સ્થાપિત થતો નથી.

Astraનાં ગણતરીનાં ચિહ્નો દરેક કોલોની સાથે વિશ્વસનીય રીતે મેળ ખાતાં નથી: તે નજીકની કોલોનીઓને અલગ પારખી શકતું નથી, દેખાતી કોલોનીઓ ચૂકી જાય છે અને ખાલી અગરને ચિહ્નિત કરે છે. આ પ્લેટ પર એકંદરે બેન્ચમાર્કના સંદર્ભ કરતાં આશરે 12% વધુ ગણતરી થઈ છે.

કોલોનીની ખોટી ગણતરી કોષોમાં DNA કેટલા કાર્યક્ષમ રીતે દાખલ થયું તેના અંદાજને સીધી અસર કરે છે. પ્લેટ પર મૂકેલા નમૂનાનું કદ અને મંદન નિશ્ચિત હોય ત્યારે વધુ ગણતરી એ અંદાજને પણ એટલા જ પ્રમાણમાં વધારી દે છે.

જૈવિક સંશોધનને વેગ આપવા માટે રોજિંદું કામ યોગ્ય રીતે કરવું જરૂરી છે. BioBasicsBench આ કામને સુધારાનું લક્ષ્ય બનાવે છે: અપ્રક્રિયિત પ્રાયોગિક ડેટાનું અર્થઘટન કરવું, નિયંત્રણો ચકાસવાં અને તારણને સમર્થન ન મળતું હોય ત્યારે તે ઓળખવું. આ કાર્યોમાં પ્રગતિથી વૈજ્ઞાનિકો ખામીઓ શોધવા અને સુધારવામાં ઓછો સમય તથા આગળ કયા પ્રયોગો કરવા તે નક્કી કરવામાં વધુ સમય આપી શકે છે. આ ક્ષમતાઓ પર નજર રાખવાથી જૈવસલામતી અને જૈવસુરક્ષા પર તેમની અસરો સમજવામાં પણ અમને મદદ મળશે.