പതിവ് വെറ്റ്-ലാബ് ജോലികളിലെ AI ഏജന്റുകളുടെ കഴിവ് അളക്കുന്നു
100 പതിവ് വെറ്റ്-ലാബ് ദൗത്യങ്ങളിലെ സംസ്കരിക്കാത്ത പരീക്ഷണ ഡാറ്റ AI ഏജന്റുകൾ എത്ര നന്നായി വ്യാഖ്യാനിക്കുന്നുവെന്ന് അളക്കുന്ന BioBasicsBench അവതരിപ്പിക്കുന്നു.
ആർട്ടിഫിഷ്യൽ ജനറൽ ഇന്റലിജൻസ് മനുഷ്യരാശിക്ക് മുഴുവൻ പ്രയോജനപ്പെടുന്നുവെന്ന് ഉറപ്പാക്കുകയാണ് ഞങ്ങളുടെ ദൗത്യം. അതിന്റെ ഭാഗമായി, രോഗങ്ങളെ മനസ്സിലാക്കുന്നതുമുതൽ പുതിയ ചികിത്സകൾ വികസിപ്പിക്കുന്നതുവരെ ജൈവശാസ്ത്ര ഗവേഷണം വേഗത്തിലാക്കാൻ ശാസ്ത്രജ്ഞരെ സഹായിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. AI ഏജന്റുകൾക്ക് ഇതിൽ സംഭാവന നൽകാൻ, ശാസ്ത്രജ്ഞർ ദിവസേന വെറ്റ്-ലാബുകളിൽ കൈകാര്യം ചെയ്യുന്ന പരീക്ഷണതെളിവുകൾ വിശ്വസനീയമായി വ്യാഖ്യാനിക്കാൻ കഴിയണം. ജൈവ സാമ്പിളുകളിൽ പരീക്ഷണങ്ങൾ നടത്തുന്ന ഇടങ്ങളാണ് ഈ ലാബുകൾ. പരാജയപ്പെട്ട പരീക്ഷണങ്ങളും അവ്യക്തമായ ചിത്രങ്ങളും പരസ്പരവിരുദ്ധമായ നിരീക്ഷണങ്ങളും ദൈനംദിന വെറ്റ്-ലാബ് പ്രവർത്തനത്തിന്റെ ഭാഗമാണ്. നിലവിലെ ബെഞ്ച്മാർക്കുകൾ ശാസ്ത്രപ്രബന്ധങ്ങൾക്കായി തിരഞ്ഞെടുത്ത ചാർട്ടുകളും ചിത്രങ്ങളും കേന്ദ്രീകരിച്ചുള്ളവയാണ്. ഈ അവ്യക്തതയും അത് പരിഹരിക്കാൻ ആവശ്യമായ പ്രശ്നപരിശോധനയും അവയിൽ പ്രതിഫലിക്കണമെന്നില്ല. അതിനാലാണ് ഞങ്ങൾ BioBasicsBench അവതരിപ്പിക്കുന്നത്. പതിവ് വെറ്റ്-ലാബ് വിശകലനം ഏജന്റുകൾ എത്ര നന്നായി കൈകാര്യം ചെയ്യുന്നുവെന്ന് അളക്കാനുള്ള ഈ പുതിയ ബെഞ്ച്മാർക്ക്, എൻസൈം രൂപകൽപ്പനയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന ജൈവസാങ്കേതിക കമ്പനിയായ Ligo-യുമായി ചേർന്നാണ് വികസിപ്പിച്ചത്.
സംസ്കരിക്കാത്ത പരീക്ഷണ ഡാറ്റ വ്യാഖ്യാനിക്കാനും പിശകുകൾ കണ്ടെത്താനും തെളിവുകൾ ഒരു നിഗമനത്തെ പിന്തുണയ്ക്കാൻ അപര്യാപ്തമാകുന്നത് തിരിച്ചറിയാനും ഏജന്റുകൾക്ക് കഴിയുമോ എന്ന് ബെഞ്ച്മാർക്കിലെ 100 ദൗത്യങ്ങൾ പരിശോധിക്കുന്നു. ഈ ദൗത്യങ്ങൾ ശരിയായി നിർവഹിക്കുന്നത് പ്രധാനമാണ്. ഒരു ചിത്രം തെറ്റായി വായിക്കുകയോ പരീക്ഷണഫലങ്ങൾ പരിശോധിക്കാനുള്ള കൺട്രോളുകളിലെ പ്രശ്നം ശ്രദ്ധിക്കാതിരിക്കുകയോ ചെയ്താൽ, ശാസ്ത്രജ്ഞർ തെറ്റായ നിഗമനത്തിലെത്താം. അവരുടെ ചോദ്യത്തിന് ഉത്തരം കണ്ടെത്താൻ സഹായിക്കാത്ത പരീക്ഷണങ്ങളിൽ സമയം ചെലവഴിക്കാനും അത് ഇടയാക്കാം.
ഓരോ ദൗത്യത്തിനും കൂടുതൽ റീസണിംഗ് അനുവദിക്കുന്ന ‘xhigh’ ക്രമീകരണത്തിൽ, ലഭിക്കാവുന്ന മാർക്കിന്റെ ശരാശരി 66.7% GPT‑6 Astra നേടി; GPT‑5.6 Sol നേടിയത് 43.8% ആയിരുന്നു. പതിവ് ലാബ് വിശകലനത്തിൽ പുരോഗതിയുണ്ടെന്ന് ഫലങ്ങൾ കാണിക്കുന്നു. ചിത്രങ്ങൾ വ്യാഖ്യാനിക്കുന്നതിലും കൺട്രോളുകൾ പരിശോധിക്കുന്നതിലും പരീക്ഷണസാഹചര്യം പ്രയോഗിക്കുന്നതിലും ഇനിയും മെച്ചപ്പെടുത്താനുണ്ട്.
ജെൽ ചിത്രങ്ങളും കോളനി പ്ലേറ്റുകളും മുതൽ സൂക്ഷ്മദർശന ചിത്രങ്ങളും ഉപകരണ വായനകളും വരെയുള്ള സംസ്കരിക്കാത്ത പരീക്ഷണതെളിവുകളാണ് BioBasicsBench ഉപയോഗിക്കുന്നത്.
പതിവ് വെറ്റ്-ലാബ് പ്രവർത്തനത്തിന്റെ അഞ്ച് മേഖലകളിലായി 100 ദൗത്യങ്ങളാണ് BioBasicsBench-ലുള്ളത്: പ്രോട്ടീൻ രീതികൾ, ചിത്രീകരണവും സൈറ്റോമെട്രിയും, അളവ് നിർണയവും പരിശോധനകളും, ന്യൂക്ലിക് ആസിഡ് രീതികൾ, തന്മാത്രാ ക്ലോണിംഗ്. ജെല്ലിലെ DNA സാമ്പിളിന്റെ തന്മാത്രാഭാരം വായിക്കുന്നതുപോലുള്ള ലളിതമായ ആവശ്യങ്ങൾ മുതൽ പരിശോധനാഫലങ്ങളുടെ വിശദമായ വിശകലനം വരെ ദൗത്യങ്ങളിൽ ഉൾപ്പെടുന്നു. എന്നാൽ എല്ലാം വെറ്റ്-ലാബ് ശാസ്ത്രജ്ഞർക്ക് വിശ്വസനീയമായി പൂർത്തിയാക്കാൻ കഴിയേണ്ട പതിവ് ജോലികളാണ്.
സ്വന്തം പരീക്ഷണങ്ങളിൽ നിന്നുള്ള ഡാറ്റ ഉപയോഗിച്ചാണ് ശാസ്ത്രജ്ഞർ ദൗത്യങ്ങൾ സൃഷ്ടിച്ചത്. ഓരോ ചോദ്യത്തിനുമൊപ്പം വിദഗ്ധർ തയ്യാറാക്കിയ മൂല്യനിർണയ മാനദണ്ഡങ്ങളും ചേർത്തു. ഓരോ ദൗത്യവും അത് തയ്യാറാക്കാത്ത ഒരു Ligo ശാസ്ത്രജ്ഞന്റെ ആഭ്യന്തര അവലോകനം, വെറ്റ്-ലാബിൽ പ്രവർത്തിക്കുന്ന ഡോക്ടറേറ്റ് തലത്തിലുള്ള ഒരു ശാസ്ത്രജ്ഞന്റെ ബാഹ്യ അവലോകനം, അവസാനമായി മറ്റൊരു ആഭ്യന്തര അവലോകനം എന്നിവയ്ക്ക് വിധേയമായി.
ആവശ്യപ്പെട്ട നിഗമനമോ അളവോ ശുപാർശയോ ഉൾപ്പെടുത്തിയ ഘടനാബദ്ധമായ ഉത്തരം ഏജന്റുകൾ നൽകുന്നു. ആവശ്യമുള്ളിടത്ത് അതിനെ പിന്തുണയ്ക്കുന്ന റീസണിംഗും നൽകുന്നു. മൂല്യനിർണയ ചട്ടത്തിലെ ഓരോ മാനദണ്ഡമനുസരിച്ചും ഉത്തരങ്ങൾക്ക് മാർക്ക് ലഭിക്കുന്നു. അതുവഴി ശരിയായ നിഗമനത്തെയും ഭാഗികമായി ശരിയായ വിശകലനത്തെയും വേർതിരിക്കാൻ ബെഞ്ച്മാർക്കിന് കഴിയുന്നു. ജൈവശാസ്ത്ര അറിവ്, ചിത്രങ്ങളുടെയും മറ്റ് ഡാറ്റയുടെയും വ്യാഖ്യാനം, പിശക് കണ്ടെത്തൽ, പരീക്ഷണ നടപടിക്രമങ്ങളെക്കുറിച്ചുള്ള ധാരണ എന്നിവയുൾപ്പെടെ നിരവധി കഴിവുകൾ മിക്ക ദൗത്യങ്ങളും ഒരുമിച്ച് പരിശോധിക്കുന്നു.
“വ്യത്യസ്ത ദൗത്യങ്ങൾ” എന്നതിൽ ഓരോ ദൗത്യവും ഒരിക്കൽ മാത്രം എണ്ണുന്നു. കഴിവുകൾക്കായുള്ള നിരകൾ അതത് കഴിവിന്റെ ടാഗുള്ള ദൗത്യങ്ങളെ എണ്ണുന്നു. ഈ വിഭാഗങ്ങൾ പരസ്പരം മുട്ടുന്നു: ഒരു ദൗത്യം പല നിരകളിലും വരാം. അതിനാൽ ആകെ ദൗത്യങ്ങളുടെ എണ്ണം ലഭിക്കാൻ കഴിവുകളുടെ എണ്ണങ്ങൾ കൂട്ടരുത്. നിറം വിഷയമേഖലയെ തിരിച്ചറിയിക്കുന്നു; കൂടുതൽ കടുത്ത നിറം, ആ മേഖലയിലെ ദൗത്യങ്ങളിൽ ആ കഴിവ് പരിശോധിക്കുന്നവയുടെ വിഹിതം കൂടുതലാണെന്ന് സൂചിപ്പിക്കുന്നു.
ശാസ്ത്രജ്ഞർ ഉപയോഗിക്കുന്ന അതേ രൂപത്തിലാണ് തെളിവുകൾ നൽകുന്നത്: ജെൽ-ബ്ലോട്ട് ചിത്രങ്ങൾ, പ്ലേറ്റ് ഫോട്ടോകൾ, സൂക്ഷ്മദർശന ചിത്രശേഖരങ്ങൾ, അനുക്രമനിർണയ വായനകൾ, പ്ലേറ്റ്-റീഡറിൽനിന്ന് കയറ്റുമതി ചെയ്ത ഡാറ്റ, പരീക്ഷണമേശയിലെ പ്രവർത്തനങ്ങളുടെ വീഡിയോകൾ. ഒരു ദൗത്യത്തിൽ പലതരം ഡാറ്റ ഉൾപ്പെടാം. ലാഡർ ചാർട്ടുകൾ, പ്ലാസ്മിഡ് ഭൂപടങ്ങൾ തുടങ്ങിയ റഫറൻസ് ഷീറ്റുകൾ പരീക്ഷണതെളിവുകൾ വ്യാഖ്യാനിക്കാൻ സഹായിക്കുന്നു.
ഡാറ്റയുടെ തരം | ദൗത്യങ്ങൾ | ഉൾപ്പെടുന്നവ |
|---|---|---|
ജെല്ലുകളും ബ്ലോട്ടുകളും | 31 | അഗറോസ് DNA ജെല്ലുകൾ, SDS-PAGE ജെല്ലുകൾ, വെസ്റ്റേൺ ബ്ലോട്ടുകൾ |
പരീക്ഷണ നടപടിക്രമങ്ങൾ, കുറിപ്പുകൾ, സാങ്കേതിക സവിശേഷതകൾ | 27 | പരീക്ഷണ നടപടിക്രമങ്ങളും മാനക പ്രവർത്തനരീതികളും, ലാബ് നോട്ട്ബുക്കുകളും പരീക്ഷണനിർവഹണ രേഖകളും, കൈയെഴുത്തുകുറിപ്പുകളുടെ ഫോട്ടോകൾ, കാറ്റലോഗുകൾ, ഉപകരണങ്ങളുടെ സാങ്കേതിക സവിശേഷതകൾ, പ്രസിദ്ധീകരിച്ച രീതികൾ |
പട്ടികകളും ഉപകരണങ്ങളിൽനിന്ന് കയറ്റുമതി ചെയ്ത ഡാറ്റയും | 20 | CSV, Excel രൂപത്തിൽ കയറ്റുമതി ചെയ്ത ഡാറ്റ, ലെയ്ൻ വിന്യാസങ്ങളും സാമഗ്രിപ്പട്ടികകളും, സംസ്കരിക്കാത്ത ഫ്ലോ സൈറ്റോമെട്രി (FCS) ഫയലുകൾ |
പരീക്ഷണമേശകൾ, ഉപകരണങ്ങൾ, അഭികാരകങ്ങൾ എന്നിവയുടെ ഫോട്ടോകൾ | 18 | പരീക്ഷണമേശകൾ, ജെൽ സംവിധാനങ്ങൾ, അഭികാരക-കൾച്ചർ ട്യൂബുകൾ, ഒരു PCR പ്ലേറ്റ്, ട്യൂബ് റാക്കുകൾ, pH സ്ട്രിപ്പുകൾ, ഒരു സാന്ദ്രീകരണ ഉപകരണം, ഒരു ഫ്രീസർ, ദ്രാവകം കൈകാര്യം ചെയ്യുന്ന ഉപകരണത്തിന്റെ പ്രവർത്തനതലം |
സൂക്ഷ്മദർശനം | 14 | സംസ്കരിക്കാത്ത ബ്രൈറ്റ്ഫീൽഡ്, ഫ്ലൂറസൻസ് ചിത്രങ്ങൾ, ബഹുചാനൽ ചിത്രസമുച്ചയങ്ങൾ, ഇസഡ്-സ്റ്റാക്കുകൾ, സമയാന്തര ദൃശ്യങ്ങൾ |
ഉപകരണ സ്ക്രീനുകളും ഗ്രാഫുകളും | 13 | ഫ്ലോ സൈറ്റോമീറ്റർ, സൂക്ഷ്മദർശിനി, NanoDrop, പ്ലേറ്റ് റീഡർ, ത്രാസ് എന്നിവയുടെ സ്ക്രീൻ ഫോട്ടോകൾ; കയറ്റുമതി ചെയ്ത മാനക വക്രങ്ങൾ, ക്രൊമാറ്റോഗ്രാമുകൾ, ഗ്രാഫുകൾ |
അനുക്രമനിർണയ ഫയലുകൾ | 12 | സംസ്കരിക്കാത്ത ലോങ്-റീഡ് FASTQ ഫയലുകൾ, FASTA അനുക്രമങ്ങൾ, GenBank ഭൂപടങ്ങൾ |
പരീക്ഷണ നടപടിക്രമങ്ങളുടെ വീഡിയോകൾ | 7 | സ്ട്രീക്കിംഗ്, ഇനോക്കുലേഷൻ, ക്രമാനുഗത നേർപ്പിക്കൽ, SDS-PAGE ടാങ്കും ഇൻക്യുബേറ്ററും സജ്ജമാക്കൽ, ത്രാസിൽ തൂക്കമളക്കൽ |
അഗാർ പ്ലേറ്റുകളും കോളനികളും | 7 | ട്രാൻസ്ഫോർമേഷൻ പ്ലേറ്റുകൾ, നീല/വെള്ള സ്ക്രീനിംഗ്, ആന്റിബയോട്ടിക്-ഡിസ്ക് പ്ലേറ്റുകൾ |
റഫറൻസ് ഷീറ്റുകൾ | 21 | ലാഡർ ചാർട്ടുകൾ, പ്ലാസ്മിഡ് ഭൂപടങ്ങൾ, pH ചാർട്ടുകൾ (സഹായക സാമഗ്രികൾ) |
ഓരോ തരത്തിലുള്ള ഡാറ്റയും ഉൾപ്പെടുന്ന ദൗത്യങ്ങളുടെ എണ്ണം. ഒരേ ദൗത്യം ഒന്നിലധികം വിഭാഗങ്ങളിൽ വരാം; റഫറൻസ് ഷീറ്റുകൾ സഹായക സാമഗ്രികളാണ്.
സ്വന്തം പരീക്ഷണങ്ങളിൽ നിന്നുള്ള ഡാറ്റ ഉപയോഗിച്ചാണ് ശാസ്ത്രജ്ഞർ ദൗത്യങ്ങൾ തയ്യാറാക്കിയത്. പരീക്ഷണതെളിവുകൾക്കൊപ്പം ഒരു ചോദ്യവും വിദഗ്ധർ തയ്യാറാക്കിയ മൂല്യനിർണയ ചട്ടവും ചേർത്തു. ഓരോ ദൗത്യവും അത് തയ്യാറാക്കാത്ത ഒരു Ligo ശാസ്ത്രജ്ഞന്റെ ആഭ്യന്തര അവലോകനം, വെറ്റ്-ലാബിൽ പ്രവർത്തിക്കുന്ന ഡോക്ടറേറ്റ് തലത്തിലുള്ള ഒരു ശാസ്ത്രജ്ഞന്റെ ബാഹ്യ അവലോകനം, അവസാനമായി മറ്റൊരു ആഭ്യന്തര അവലോകനം എന്നിവയിലൂടെ കടന്നുപോയി. അവലോകകർ പ്രോംപ്റ്റ്, പരീക്ഷണതെളിവുകൾ, മൂല്യനിർണയ ചട്ടം, രചയിതാവിന്റെ കുറിപ്പുകൾ, മാർക്ക് നൽകിയ ഒരു മോഡൽ ശ്രമം എന്നിവ പരിശോധിച്ചു.
ദൗത്യത്തിന്റെ മൂല്യനിർണയ ചട്ടമനുസരിച്ചാണ് ഉത്തരങ്ങൾക്ക് സ്കോർ നൽകുന്നത്. ഓരോ മാനദണ്ഡത്തിനും പ്രത്യേകം മാർക്ക് നിശ്ചയിച്ചിരിക്കുന്നു. ദൗത്യത്തിനനുസരിച്ച്, നിഗമനം, സംഖ്യാരൂപത്തിലുള്ള ഫലങ്ങൾ, പിന്തുണയ്ക്കുന്ന റീസണിംഗ്, അല്ലെങ്കിൽ തെളിവുകൾ അപര്യാപ്തമാണെന്ന തിരിച്ചറിവ് എന്നിവ ഈ മാനദണ്ഡങ്ങൾ വിലയിരുത്തുന്നു.
BioBasicsBench ഉപയോഗിച്ച് ഞങ്ങൾ ഏഴ് മോഡലുകളെ വിലയിരുത്തി: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna, GPT‑6 Astra. മോഡലും റീസണിംഗ് ശ്രമനിലയും ചേർന്ന 37 ക്രമീകരണങ്ങൾ വിലയിരുത്തലിൽ ഉൾപ്പെടുന്നു. ഓരോ ക്രമീകരണത്തിലും 100 ദൗത്യങ്ങളിൽ ഓരോന്നിനും അഞ്ച് ശ്രമങ്ങൾ വീതം നടത്തി, ആകെ 18,500 ഫലങ്ങൾ ലഭിച്ചു.
ഞങ്ങൾ റിപ്പോർട്ട് ചെയ്യുന്നത് ശരാശരി പ്രതിഫലമാണ്: ലഭിക്കാവുന്ന മൊത്തം മാർക്കിന്റെ ശതമാനമായി രേഖപ്പെടുത്തിയ ശരാശരി ദൗത്യ സ്കോർ. ഓരോ ദൗത്യത്തിന്റെയും അഞ്ച് ശ്രമങ്ങൾ ഒരുമിച്ച് നിലനിർത്തി, ദൗത്യങ്ങളെ മുഴുവനായി പുനഃസാമ്പിൾ ചെയ്ത് കണക്കാക്കിയ 95% വിശ്വാസ്യതാ ഇടവേളകളാണ് പിശക് ദണ്ഡുകൾ കാണിക്കുന്നത്.
ഓരോ ദൗത്യത്തിലെയും ശരാശരി ഔട്ട്പുട്ട് ടോക്കണുകളും ശരാശരി പ്രതിഫലവും തമ്മിലുള്ള താരതമ്യം ലോഗരിതമിക് മാനത്തിൽ കാണിച്ചിരിക്കുന്നു. ഓരോ ബിന്ദുവും പരീക്ഷിച്ച ഒരു റീസണിംഗ് ശ്രമനിലയെ പ്രതിനിധീകരിക്കുന്നു; രേഖകൾ ഈ ക്രമീകരണങ്ങളെ ക്രമത്തിൽ ബന്ധിപ്പിക്കുന്നു. x-അക്ഷത്തിലെ ഓരോ അടയാളത്തിലും മൂല്യം ഇരട്ടിയാകുന്നു. ഓറഞ്ച് വിച്ഛിന്നരേഖകൾ GPT‑5 മോഡലുകളെയും നീല തുടർച്ചാരേഖകൾ GPT‑6 മോഡലുകളെയും കാണിക്കുന്നു. മങ്ങിയ അറ്റരേഖകൾ ദൗത്യങ്ങളെ മുഴുവനായി ബൂട്ട്സ്ട്രാപ്പ് ചെയ്ത് കണക്കാക്കിയ 95% വിശ്വാസ്യതാ ഇടവേളകൾ കാണിക്കുന്നു. ഓരോ ക്രമീകരണത്തിലും 100 ദൗത്യങ്ങളും ഓരോ ദൗത്യത്തിന് അഞ്ച് ശ്രമങ്ങളും ഉൾപ്പെടുന്നു. മോഡലുകൾക്കനുസരിച്ച് ശ്രമനിലകൾ വ്യത്യാസപ്പെടുന്നു.
കുറഞ്ഞ റീസണിംഗ് ശ്രമനിലയിൽപ്പോലും GPT‑6 Astra, GPT‑5.6 Sol-നെക്കാൾ ഗണ്യമായ മെച്ചം കൈവരിക്കുന്നു. ദൈനംദിന വെറ്റ്-ലാബ് വിശകലനത്തിലെ പ്രകടനം മെച്ചപ്പെടുത്താൻ കൂടുതൽ കരുത്തുള്ള അന്തർനിർമിത ബഹുമാധ്യമ ശേഷികൾ നിർണായകമായേക്കാം എന്നാണ് ഈ മുന്നേറ്റങ്ങൾ സൂചിപ്പിക്കുന്നത്.
xhigh റീസണിംഗ് ശ്രമനിലയിലെ പ്രകടനം
മോഡൽ | ശരാശരി പ്രതിഫലം | 95% വിശ്വാസ്യതാ ഇടവേള | ഔട്ട്പുട്ട് ടോക്കണുകൾ / ദൗത്യം |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
ഏഴ് മോഡലുകൾക്കും റിപ്പോർട്ട് ചെയ്തിട്ടുള്ള ഏറ്റവും ഉയർന്ന റീസണിംഗ് ശ്രമനിലയാണ് Xhigh. ഓരോ വരിയിലും 100 ദൗത്യങ്ങളും ഓരോ ദൗത്യത്തിന് അഞ്ച് ശ്രമങ്ങളും ഉൾപ്പെടുന്നു. Max ശ്രമനിലയിലെ ഫലങ്ങൾ ലഭ്യമായിടത്ത് മുകളിലെ ചാർട്ടിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.
ഡാറ്റയെ അതിരുകടന്ന് വ്യാഖ്യാനിക്കുന്നത് ശാസ്ത്രത്തിൽ പതിവായി സംഭവിക്കുന്ന ഒരു പിഴവാണ്, പ്രത്യേകിച്ച് ഒരു പരികൽപ്പന പരിശോധിക്കുമ്പോൾ ഉണ്ടാകുന്ന പക്ഷപാതം കണക്കിലെടുക്കുമ്പോൾ. ഡാറ്റ വെളിപ്പെടുത്തുന്ന കാര്യങ്ങളുടെ പരിധി തിരിച്ചറിയാനും അടിസ്ഥാനമില്ലാത്ത നിഗമനങ്ങൾ ഒഴിവാക്കാനും Astra കൂടുതൽ കഴിവ് പ്രകടിപ്പിച്ചു.
ഈ ഉദാഹരണത്തിൽ, മൃതകോശങ്ങളെ കണ്ടെത്താൻ ഉപയോഗിച്ച ചായത്തിന്റെ സിഗ്നൽ അടിസ്ഥാനമാക്കി GPT‑5.6 Sol കോശങ്ങളെ മൃതകോശങ്ങളായി വർഗീകരിച്ചു. എന്നാൽ ഡിറ്റക്ടറിന് രണ്ടാമതൊരു ചായത്തിൽ നിന്നുള്ള പ്രകാശവും പിടിച്ചെടുക്കാനാകുമായിരുന്നു. അതിനാൽ തെളിച്ചം മാത്രം ആ നിഗമനത്തെ സാധൂകരിച്ചില്ല. Astra ഈ അവ്യക്തത തിരിച്ചറിയുകയും സിഗ്നലുകൾ വേർതിരിക്കാൻ മെച്ചപ്പെട്ട കൺട്രോളുകൾ ആവശ്യപ്പെടുകയും ചെയ്തു.
ബ്രൈറ്റ്ഫീൽഡ് · കടന്നുപോകുന്ന പ്രകാശം
ചാനൽ 2 · SYTOX ഉപയോഗിച്ച് അടയാളപ്പെടുത്തിയത് · 470–540 nm
ചാനൽ 3 · FUN-1 പച്ച · 525–580 nm
മൂന്ന് ചാനലുകളിലായി ഒരേ കോശഭാഗങ്ങൾ; കണ്ടെത്തൽ തരംഗദൈർഘ്യ പരിധികൾ 525–540 nm-ൽ പരസ്പരം മുട്ടുന്നു. ഈ പൊതുപരിധി സിഗ്നലുകൾ ഇടകലരാൻ വഴിയൊരുക്കുന്നു; അതിന്റെ അളവ് നിർണയിച്ചിട്ടില്ല. ഓരോ ചാനലിനും പ്രത്യേക രേഖീയ തീവ്രതാമാനമാണ് ഉപയോഗിച്ചിരിക്കുന്നത്; അതത് ചാനലിലെ രണ്ട് ഭാഗങ്ങളിലും ഈ മാനം ഒരുപോലെയാണ്. ചാനലുകൾ തമ്മിൽ തെളിച്ചം അളവുപരമായി താരതമ്യം ചെയ്യാനാവില്ല.
ശാസ്ത്രഗവേഷണത്തിൽ പലതരം മാധ്യമങ്ങൾ വ്യാപകമായി ഉപയോഗിക്കുന്നു; ദൃശ്യങ്ങൾ നിരന്തരം വ്യാഖ്യാനിക്കുകയും തീരുമാനങ്ങളെടുക്കുകയും വേണം. ഫോട്ടോകളും വീഡിയോകളും, അനുക്രമനിർണയം, പ്ലേറ്റ്-റീഡർ പരിശോധനകൾ, സൂക്ഷ്മദർശനം, ഫ്ലോ സൈറ്റോമെട്രി എന്നിവയിൽനിന്നുള്ള സംസ്കരിക്കാത്ത ഫലങ്ങളും ഉൾപ്പെട്ട ബഹുമാധ്യമ ഡാറ്റ കൈകാര്യം ചെയ്യുന്നതിൽ Astra ഗണ്യമായ മെച്ചം പ്രകടിപ്പിച്ചു.
പരീക്ഷണങ്ങൾക്കിടെ എടുത്ത ചിത്രങ്ങളിലെ സൂക്ഷ്മവിശദാംശങ്ങൾ കണ്ടെത്താനും അതുവഴി കൂടുതൽ കൃത്യമായ നിഗമനങ്ങളിലെത്താനുമുള്ള GPT‑6 Astra-യുടെ കഴിവിൽ ഈ മെച്ചം അടിസ്ഥാനതലത്തിൽത്തന്നെ വ്യക്തമായിരുന്നു. ഈ ഉദാഹരണം അത് കാണിക്കുന്നു. കൺട്രോളുകൾ അനിവാര്യമായ ഒരു DNA ക്ലോണിംഗ് പരീക്ഷണത്തിൽനിന്ന് നിഗമനങ്ങളിലെത്താനാണ് ഈ ദൗത്യം ഏജന്റുകളോട് ആവശ്യപ്പെട്ടത്. നെഗറ്റീവ് കൺട്രോൾ പ്ലേറ്റിൽ കോളനികളൊന്നും GPT‑5.6 Sol കണ്ടില്ല; ആ നിരീക്ഷണത്തെ അടിസ്ഥാനമാക്കിയാണ് അത് നിഗമനങ്ങളിലെത്തിയത്. പ്ലേറ്റിലെ ലേബലിൽ തെറ്റായ ആന്റിബയോട്ടിക്കിന്റെ പേരാണുള്ളതെന്ന് GPT‑6 Astra ശ്രദ്ധിച്ചു. അതിനാൽ അതിനെ വിശ്വസനീയമായ കൺട്രോളായി സ്വീകരിക്കാതിരുന്നത് ശരിയായിരുന്നു.

മൂല ഫോട്ടോ
വക്കിലെ ലേബൽ
ബെഞ്ച്മാർക്കിലെ മൂല ഫോട്ടോ; വക്കിലെ ലേബൽ വട്ടമിട്ട് വലുതാക്കി കാണിച്ചിരിക്കുന്നു. “LB Kan50” കനാമൈസിനെ സൂചിപ്പിക്കുന്നു. പരീക്ഷണത്തിൽ ഉപയോഗിച്ച ആംപിസിലിനിൽനിന്ന് വ്യത്യസ്തമായ ആന്റിബയോട്ടിക്കാണിത്.
ഡാറ്റ വ്യക്തമാക്കുന്നത് ശരിയായി വ്യാഖ്യാനിക്കാൻ, അത് വിശകലനം ചെയ്യുമ്പോൾ അനുഭവാധിഷ്ഠിത ജൈവശാസ്ത്ര അറിവും പരീക്ഷണസാഹചര്യവും മനസ്സിൽ നിലനിർത്താൻ ശാസ്ത്രജ്ഞർക്ക് കഴിയണം. ഈ പശ്ചാത്തലം നിലനിർത്താനും വിശകലനത്തിലുടനീളം പ്രയോഗിക്കാനും Astra മെച്ചപ്പെട്ട കഴിവ് പ്രകടിപ്പിച്ചു.
ഒരു ദൗത്യത്തിൽ, സൂക്ഷ്മദർശിനി ചിത്രങ്ങളുടെ ഒരു പരമ്പരയിൽ കോശങ്ങൾ ഫോക്കസിൽ വരുന്നതും അതിൽനിന്ന് മറയുന്നതും കാണിച്ചു. കോശങ്ങൾ അപ്രത്യക്ഷമാകുന്നതായി തോന്നിയതിന് GPT‑5.6 Sol ജൈവശാസ്ത്രപരമായ വിശദീകരണം തേടിയപ്പോൾ, GPT‑6 Astra അത് വ്യത്യസ്ത ആഴങ്ങളിൽ എടുത്ത ചിത്രങ്ങളുടെ പരമ്പരയായ ഒരു ഇസഡ്-സ്റ്റാക്കാണെന്ന് ശരിയായി തിരിച്ചറിഞ്ഞു.

0 സെ.

3 സെ.

6 സെ.

9 സെ.

12 സെ.

15 സെ.
മൂല റെക്കോർഡിംഗിൽനിന്നുള്ള ആറ് ദൃശ്യങ്ങൾ. സൂക്ഷ്മദർശിനി വിവിധ ആഴങ്ങളിലൂടെ സ്കാൻ ചെയ്യുമ്പോൾ ഒരേ സ്ഥാനം വിച്ഛിന്നരേഖകളുള്ള ചതുരങ്ങൾ അടയാളപ്പെടുത്തുന്നു. സമയങ്ങൾ നൽകിയ വീഡിയോയിലെ പ്രദർശനസ്ഥാനം സൂചിപ്പിക്കുന്നു.
ഉയർന്ന ബെഞ്ച്മാർക്ക് സ്കോറുകൾ നേടുന്നതുകൊണ്ട് മാത്രം മോഡലുകൾക്ക് ലാബിൽ വിശ്വസനീയമായ വിലയിരുത്തലുകൾ നടത്താൻ കഴിയുമെന്ന് ഇപ്പോഴും പറയാനാവില്ല. അനുമാനങ്ങൾക്കും പ്രതീക്ഷിക്കുന്ന ഉത്തരങ്ങൾക്കും നൽകിയ ലേബലുകൾക്കും തെളിവുകളെക്കാൾ പ്രാധാന്യം ലഭിക്കുന്നതെങ്ങനെയെന്ന് Astra-യുടെ ഈ ഉദാഹരണങ്ങൾ കാണിക്കുന്നു. ഇടയ്ക്ക് നടത്തിയ ശരിയായ നിരീക്ഷണം അന്തിമ തീരുമാനത്തെ നയിക്കാതെ പോകുന്നതെങ്ങനെയെന്നും ഇവ വ്യക്തമാക്കുന്നു.
പരീക്ഷണത്തിലെ കൺട്രോളുകൾ പിന്തുണയ്ക്കുന്ന വ്യാഖ്യാനത്തെക്കാൾ പരിചിതമായ ഒരു അനുമാനത്തിന് Astra മുൻഗണന നൽകുന്നു. കോളനി ബാൻഡുകളുടെ രണ്ട് കൂട്ടങ്ങളെ വേർതിരിച്ചറിയാൻ അതിന് കഴിയുന്നു. എന്നാൽ വലുപ്പമേറിയ PCR ഉൽപ്പന്നം വിജയകരമായ ക്ലോണിംഗിനെ സൂചിപ്പിക്കുമെന്ന് അത് അനുമാനിക്കുന്നു. ആ അടിസ്ഥാനത്തിൽ അത് 4, 6, 7, 8 എന്നീ ലെയ്നുകൾ നിർദേശിക്കുന്നു; എന്നാൽ റഫറൻസിലെ കൺട്രോൾ താരതമ്യം തിരഞ്ഞെടുക്കുന്നത് 5, 9, 10 എന്നീ ലെയ്നുകളാണ്.

റഫറൻസിൽ തിരഞ്ഞെടുത്ത കോളനികൾ 5, 9, 10; Astra നിർദേശിക്കുന്നവ 4, 6, 7, 8.
1: മാർക്കർ · 2: ക്ലോണിംഗ് മിശ്രിതം · 3: മൂല പ്ലാസ്മിഡ് · 4–10: കോളനി സാമ്പിളുകൾ
കൺട്രോളുകൾ വ്യാഖ്യാനിക്കുന്നു
ലെയ്ൻ 3-ൽ മൂല പ്ലാസ്മിഡിന്റെ PCR ഉൽപ്പന്നം മാത്രമാണുള്ളത്. അതിന്റെ ബാൻഡ് പഴയ പ്ലാസ്മിഡിന്റെ റഫറൻസ് സ്ഥാനം നൽകുന്നു.
റഫറൻസ് വ്യാഖ്യാനപ്രകാരം ലെയ്ൻ 2-ൽ രണ്ട് മാതൃകകളുമുണ്ട്: സംയോജനം അപൂർണമായതിനാൽ പുതിയ ഉൽപ്പന്നത്തോടൊപ്പം പഴയ ടെംപ്ലേറ്റ്/അടിസ്ഥാനഘടനയും ശേഷിക്കുന്നു.
ഇതിൽനിന്ന് രൂപപ്പെടുന്ന കോളനികളിൽ പഴയതോ പുതിയതോ ആയ പ്ലാസ്മിഡ് ഉണ്ടാകാം. അവയുടെ ബാൻഡുകൾ ഈ റഫറൻസ് മാതൃകകളുമായി താരതമ്യം ചെയ്യുക.
റഫറൻസിലെ തിരഞ്ഞെടുപ്പ്: 5, 9, 10
Astra-യുടെ തിരഞ്ഞെടുപ്പ്: 4, 6, 7, 8. വലിയ PCR ഉൽപ്പന്നം ഉദ്ദേശിച്ച ജനിതകഘടനയെ പ്രതിനിധീകരിക്കുന്നുവെന്ന് സൂചിപ്പിച്ചാണ് Astra ഈ കൂട്ടത്തെ തിരഞ്ഞെടുക്കുന്നത്.
ദൃശ്യങ്ങളുടെ അടിസ്ഥാനത്തിലുള്ള തരംതിരിക്കൽ ശരിയാണ്. എന്നാൽ ആ കൂട്ടങ്ങൾ പരീക്ഷണത്തിൽ എന്തിനെ പ്രതിനിധീകരിക്കുന്നു എന്നത് റഫറൻസിന് വിപരീതമായാണ് തിരിച്ചറിഞ്ഞിരിക്കുന്നത്. അതിനാൽ കോളനി PCR ഫലങ്ങളിൽനിന്ന് Astra തെറ്റായ കോളനികളാണ് തിരഞ്ഞെടുക്കുന്നത്. ഇത് തുടർഘട്ടത്തിൽ തെറ്റായ പ്ലാസ്മിഡിനെ ശുദ്ധീകരിച്ചെടുക്കുന്നതിലേക്ക് നയിക്കും.
സ്വന്തം വ്യാഖ്യാനത്തിന് വിരുദ്ധമായ നിരീക്ഷണങ്ങളെ Astra തള്ളിക്കളയുന്നു. കോശങ്ങൾക്കുള്ളിലെ അറകളായ വാക്യൂളുകൾ സാധാരണയായി ചുറ്റുമുള്ള കോശഭാഗത്തെക്കാൾ ഇരുണ്ടതാണെന്ന് അത് നിഗമനം ചെയ്യുന്നു. എന്നാൽ അതേ ചിത്രത്തിൽ ചില വാക്യൂളുകൾ കൂടുതൽ തെളിച്ചമുള്ളതായി കാണുന്നുണ്ട്. രണ്ട് രൂപങ്ങളും പ്രധാനമാണ്: സൂക്ഷ്മദർശിനിയുടെ ഫോക്കസ് മാറ്റുമ്പോൾ പ്രകാശവ്യത്യാസം വിപരീതമാകാം. അതിനാൽ ഇരുണ്ടതായി കാണുന്ന ഉദാഹരണങ്ങൾകൊണ്ട് ഒരു പൊതുനിയമം സ്ഥാപിക്കാനാവില്ല.
കൂടുതൽ ഇരുണ്ട രൂപം
കൂടുതൽ തെളിച്ചമുള്ള രൂപം
വാക്യൂളുകൾ കൂടുതൽ ഇരുണ്ടതാണെന്ന Astra-യുടെ പൊതുനിഗമനം, അതേ ദൃശ്യപരിധിയിൽ കാണുന്ന തെളിച്ചമുള്ള വാക്യൂളുകളെ ഒഴിവാക്കുന്നു.
ആ ഉത്തരം വിട്ടുപോകുന്ന കാര്യങ്ങൾ
ചില കോശങ്ങളിൽ വിപരീതമായ പ്രകാശവ്യത്യാസമാണ് കാണുന്നത്. ഫോക്കസ് ചെയ്യുന്ന ആഴം മാറുമ്പോൾ പ്രകാശവ്യത്യാസം വിപരീതമാകാം എന്നതിനാലാണ് ഈ രണ്ട് രൂപങ്ങളും കാണുന്നത്.
Astra പല ഭാഗങ്ങളും പരിശോധിക്കുകയും ഫോക്കസിനനുസരിച്ച് പ്രകാശവ്യത്യാസം മാറുന്നതായി അഭിപ്രായപ്പെടുകയും ചെയ്യുന്നു. എന്നാൽ തുടർന്ന്, കൂടുതൽ നന്നായി ഫോക്കസിലുള്ളവയെന്ന് സ്വയം വിശേഷിപ്പിക്കുന്ന കോശങ്ങൾക്ക് അത് കൂടുതൽ പ്രാധാന്യം നൽകുന്നു. അവയിലെ വാക്യൂളുകൾ കൂടുതൽ ഇരുണ്ടതാണെന്ന വിവരണം മാത്രം അന്തിമ ഉത്തരത്തിൽ നിലനിർത്തുന്നു. ഇതിന് വിരുദ്ധമായ, കൂടുതൽ തെളിച്ചമുള്ള ഭാഗങ്ങൾ പരിശോധിച്ചെങ്കിലും നിഗമനത്തിൽ പരിഗണിച്ചില്ല.
Astra-യുടെ എണ്ണൽ അടയാളങ്ങൾ ഓരോ കോളനിയുമായും വിശ്വസനീയമായി പൊരുത്തപ്പെടുന്നില്ല: അടുത്തടുത്തുള്ളവയെ വേർതിരിക്കുന്നതിൽ അത് പരാജയപ്പെടുന്നു, കാണാവുന്ന കോളനികൾ വിട്ടുപോകുന്നു, ശൂന്യമായ അഗാർ അടയാളപ്പെടുത്തുന്നു. ഈ പ്ലേറ്റിൽ ബെഞ്ച്മാർക്ക് റഫറൻസിനെ അപേക്ഷിച്ച് ഏകദേശം 12% അധികം എണ്ണിയെന്നതാണ് ആകെ ഫലം.

മൂലചിത്രം

Astra-യുടെ എണ്ണൽ അടയാളങ്ങൾ

മൂലചിത്രം

Astra-യുടെ എണ്ണൽ അടയാളങ്ങൾ

മൂലചിത്രം

Astra-യുടെ എണ്ണൽ അടയാളങ്ങൾ
A: അടുത്തടുത്ത കോളനികൾക്കിടയിൽ എണ്ണുന്നതിനുള്ള ഒരു അടയാളം. B: കാണാവുന്ന രണ്ട് കോളനികൾ അടയാളപ്പെടുത്തിയിട്ടില്ല. C: ശൂന്യമായ അഗാറിനെ കോളനിയായി എണ്ണിയിരിക്കുന്നു. ചുവന്ന വൃത്തങ്ങൾ Astra എണ്ണിയ സ്ഥാനങ്ങൾ സൂചിപ്പിക്കുന്നു. കറുത്ത അമ്പുകൾ വിശദീകരണത്തിനായി ചേർത്തവയാണ്.
കോളനികളുടെ എണ്ണം തെറ്റിയാൽ, കോശങ്ങളിൽ DNA പ്രവേശിപ്പിച്ചതിന്റെ കാര്യക്ഷമത കണക്കാക്കുന്നതിനെ അത് നേരിട്ട് ബാധിക്കും. പ്ലേറ്റിൽ ചേർത്ത അളവും നേർപ്പിക്കൽ അനുപാതവും മാറ്റമില്ലാതെ നിലനിർത്തുമ്പോൾ, അധികമായി എണ്ണുന്നത് അതേ അനുപാതത്തിൽ ആ കണക്കും വർധിപ്പിക്കുന്നു.
ജൈവശാസ്ത്ര ഗവേഷണം വേഗത്തിലാക്കാൻ ദൈനംദിന ജോലികൾ ശരിയായി ചെയ്യേണ്ടതുണ്ട്. ആ ജോലികളിലെ മെച്ചപ്പെടുത്തലാണ് BioBasicsBench ലക്ഷ്യമിടുന്നത്: സംസ്കരിക്കാത്ത പരീക്ഷണ ഡാറ്റ വ്യാഖ്യാനിക്കുക, കൺട്രോളുകൾ പരിശോധിക്കുക, നിഗമനത്തിന് തെളിവുകളുടെ പിന്തുണയില്ലാത്തത് തിരിച്ചറിയുക. ഈ ദൗത്യങ്ങളിലെ പുരോഗതി, പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് കുറച്ചുസമയവും അടുത്തതായി ഏതെല്ലാം പരീക്ഷണങ്ങൾ നടത്തണമെന്ന് തീരുമാനിക്കുന്നതിന് കൂടുതൽ സമയവും ചെലവഴിക്കാൻ ശാസ്ത്രജ്ഞരെ സഹായിച്ചേക്കാം. ഈ കഴിവുകൾ നിരീക്ഷിക്കുന്നത്, ജൈവാപകടങ്ങൾ തടയുന്നതിനും ജൈവ വസ്തുക്കളുടെ ദുരുപയോഗം തടയുന്നതിനും അവയ്ക്കുള്ള പ്രത്യാഘാതങ്ങൾ മനസ്സിലാക്കാനും ഞങ്ങളെ സഹായിക്കും.


