როგორ ართმევენ თავს ხელოვნური ინტელექტის აგენტები ყოველდღიურ ლაბორატორიულ საქმიანობას

ჩვენი მისიაა, უზრუნველვყოთ, რომ ზოგადი ხელოვნური ინტელექტი მთელი კაცობრიობისთვის სასარგებლო იყოს. ამ მისიის ფარგლებში გვსურს, მეცნიერებს ბიოლოგიური კვლევების დაჩქარებაში დავეხმაროთ — დაავადებების შესწავლიდან მკურნალობის ახალი მეთოდების შემუშავებამდე. ამ საქმეში წვლილის შესატანად ხელოვნური ინტელექტის აგენტებს უნდა შეეძლოთ იმ ექსპერიმენტული მონაცემების სანდოდ ინტერპრეტაცია, რომლებსაც მეცნიერები ყოველდღიურად იყენებენ ლაბორატორიებში ბიოლოგიურ ნიმუშებზე ცდების ჩატარებისას. ყოველდღიურ ექსპერიმენტულ ლაბორატორიულ საქმიანობას თან ახლავს წარუმატებელი ცდები, ორაზროვანი სურათები და ურთიერთსაწინააღმდეგო დაკვირვებები. არსებული ბენჩმარკები სამეცნიერო ნაშრომებისთვის შერჩეულ დიაგრამებსა და სურათებს ეფუძნება და შესაძლოა ვერ ასახავდეს ამ ორაზროვნებასა და პრობლემების გადაჭრის საჭიროებას. სწორედ ამიტომ წარმოგიდგენთ BioBasicsBench-ს — ახალ ბენჩმარკს, რომელიც ფერმენტების დიზაინზე ორიენტირებულ ბიოტექნოლოგიურ კომპანია Ligo-სთან ერთად შევიმუშავეთ. ის ზომავს, რამდენად კარგად ართმევენ თავს აგენტები რუტინულ ექსპერიმენტულ ლაბორატორიულ ანალიზს.

ბენჩმარკის 100 დავალება ამოწმებს, შეუძლიათ თუ არა აგენტებს დაუმუშავებელი ექსპერიმენტული მონაცემების ინტერპრეტაცია, შეცდომების გამოვლენა და იმის ამოცნობა, როდის არ არის მონაცემები საკმარისი დასკვნის დასასაბუთებლად. ამ დავალებების სწორად შესრულება მნიშვნელოვანია: სურათის არასწორმა ინტერპრეტაციამ ან ექსპერიმენტის შედეგების შესამოწმებელ საკონტროლო ნიმუშებში პრობლემის გამორჩენამ შესაძლოა მეცნიერები მცდარ დასკვნამდე მიიყვანოს და დრო ისეთ ცდებზე დააკარგვინოს, რომლებიც მათ კითხვას ვერ უპასუხებს.

„xhigh“ პარამეტრით, რომელიც თითოეულ დავალებაზე მეტი მსჯელობის საშუალებას იძლევა, GPT‑6 Astra-მ შესაძლო ქულების საშუალოდ 66,7% მიიღო, GPT‑5.6 Sol-მა კი — 43,8%. შედეგები აჩვენებს პროგრესს რუტინულ ლაბორატორიულ ანალიზში, თუმცა კვლავ რჩება გაუმჯობესების შესაძლებლობა სურათების ინტერპრეტაციის, საკონტროლო ნიმუშების შემოწმებისა და ექსპერიმენტის კონტექსტის გათვალისწინების მხრივ.

BioBasicsBench იყენებს დაუმუშავებელ ექსპერიმენტულ მონაცემებს — გელების სურათებიდან და კოლონიებიანი ფინჯნებიდან მიკროსკოპიამდე და ხელსაწყოების ჩვენებებამდე.

BioBasicsBench მოიცავს 100 დავალებას რუტინული ექსპერიმენტული ლაბორატორიული საქმიანობის ხუთ სფეროში: ცილების კვლევის მეთოდები, გამოსახულებების მიღება და ციტომეტრია, რაოდენობრივი განსაზღვრა და ანალიზები, ნუკლეინის მჟავების კვლევის მეთოდები და მოლეკულური კლონირება. დავალებები მოიცავს როგორც მარტივ მოთხოვნებს, მაგალითად, გელზე დნმ-ის ნიმუშის მოლეკულური მასის განსაზღვრას, ისე ანალიზის შედეგების დეტალურ განხილვას. თუმცა ყველა მათგანი რუტინული სამუშაოა, რომელსაც ექსპერიმენტულ ლაბორატორიაში მომუშავე მეცნიერები საიმედოდ უნდა ასრულებდნენ.

მეცნიერებმა დავალებები საკუთარი ექსპერიმენტების მონაცემებით შექმნეს და თითოეულ კითხვას ექსპერტების მიერ შედგენილი შეფასების კრიტერიუმები დაურთეს. თითოეულმა დავალებამ გაიარა შიდა შემოწმება Ligo-ს იმ მეცნიერის მიერ, რომელსაც ის არ შეუდგენია, გარე შემოწმება ექსპერიმენტულ ლაბორატორიაში მომუშავე დოქტორის ხარისხის მქონე მეცნიერის მიერ და საბოლოო შიდა შემოწმება.

აგენტები აბრუნებენ სტრუქტურირებულ პასუხს მოთხოვნილი დასკვნით, გაზომვის შედეგით ან რეკომენდაციით და, საჭიროების შემთხვევაში, დამასაბუთებელი მსჯელობით. პასუხები ქულებს იღებს შეფასების სქემის ცალკეული კრიტერიუმების მიხედვით, რაც ბენჩმარკს სწორი დასკვნისა და ნაწილობრივ სწორი ანალიზის ერთმანეთისგან გარჩევის საშუალებას აძლევს. დავალებების უმეტესობა ერთდროულად რამდენიმე უნარს ამოწმებს, მათ შორის ბიოლოგიურ ცოდნას, სურათებისა და სხვა მონაცემების ინტერპრეტაციას, შეცდომების გამოვლენასა და პროტოკოლის გაგებას.

შეყვანილი მასალა ინარჩუნებს მონაცემთა იმ ფორმებს, რომლებითაც მეცნიერები მუშაობენ: გელებისა და ბლოტების სურათებს, ფინჯნების ფოტოებს, მიკროსკოპული სურათების სტეკებს, სეკვენირების წაკითხვებს, პლანშეტის წამკითხველიდან ექსპორტირებულ მონაცემებსა და ლაბორატორიული სამუშაოს ვიდეოებს. ერთი დავალება შეიძლება რამდენიმე ტიპის მონაცემს მოიცავდეს. საცნობარო ფურცლები, მაგალითად, მოლეკულური მარკერების სქემები და პლაზმიდების რუკები, ექსპერიმენტული მონაცემების ინტერპრეტაციას უწყობს ხელს.

მეცნიერებმა დავალებები საკუთარი ექსპერიმენტების მონაცემებით შეადგინეს და ექსპერიმენტულ მასალას კითხვა და ექსპერტის მიერ დაწერილი შეფასების სქემა დაურთეს. თითოეულმა დავალებამ გაიარა შიდა შემოწმება Ligo-ს იმ მეცნიერის მიერ, რომელსაც ის არ შეუდგენია, გარე შემოწმება ექსპერიმენტულ ლაბორატორიაში მომუშავე დოქტორის ხარისხის მქონე მეცნიერის მიერ და საბოლოო შიდა შემოწმება. შემფასებლებმა შეამოწმეს მოთხოვნა, ექსპერიმენტული მონაცემები, შეფასების სქემა, ავტორის შენიშვნები და მოდელის ერთ-ერთი მცდელობის შეფასებული პასუხი.

პასუხები ფასდება დავალების შეფასების სქემით, რომელიც ქულებს ცალკეულ კრიტერიუმებს ანიჭებს. დავალების მიხედვით, ეს კრიტერიუმები აფასებს დასკვნას, რიცხვით შედეგებს, დამასაბუთებელ მსჯელობას ან მონაცემების არასაკმარისობის ამოცნობას.

BioBasicsBench-ზე შვიდი მოდელი შევაფასეთ: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna და GPT‑6 Astra. შეფასება მოიცავს მოდელისა და მსჯელობის ძალისხმევის 37 კომბინაციას; თითოეულზე 100-ვე დავალების შესრულების ხუთი მცდელობით, ჯამში 18 500 შედეგი მივიღეთ.

წარმოგიდგენთ საშუალო ჯილდოს: დავალების საშუალო ქულას, რომელიც მაქსიმალური შესაძლო ქულის პროცენტული წილით გამოიხატება. ცდომილების ზოლები აჩვენებს 95%-იან ნდობის ინტერვალებს, რომლებიც მთლიანი დავალებების ხელახალი შერჩევით გამოითვალა — თითოეული დავალების ხუთივე მცდელობა ერთად რჩებოდა.

GPT‑6 Astra მნიშვნელოვნად სჯობს GPT‑5.6 Sol-ს მსჯელობის დაბალი ძალისხმევის შემთხვევაშიც კი. ეს წინსვლა მიანიშნებს, რომ მოდელში ჩაშენებული უფრო ძლიერი მულტიმოდალური შესაძლებლობები შესაძლოა გადამწყვეტი იყოს ყოველდღიური ექსპერიმენტული ლაბორატორიული ანალიზის გასაუმჯობესებლად.

მეცნიერებაში გავრცელებული შეცდომაა მონაცემების გადაჭარბებული ინტერპრეტაცია, განსაკუთრებით იმ მიკერძოების გათვალისწინებით, რომელიც ჰიპოთეზის შემოწმებისას იჩენს თავს. Astra უკეთ არჩევდა, სად გადის მონაცემებით დასაბუთებული ინტერპრეტაციის ზღვარი, და თავს არიდებდა უსაფუძვლო დასკვნებს.

ამ მაგალითში GPT‑5.6 Sol-მა უჯრედები მკვდრად მიიჩნია მკვდარი უჯრედების გამოსავლენად გამოყენებული საღებავის სიგნალის საფუძველზე. თუმცა დეტექტორს მეორე საღებავის სინათლის დაფიქსირებაც შეეძლო, ამიტომ მხოლოდ სიკაშკაშე ამ დასკვნას ვერ ამართლებდა. Astra-მ ეს ორაზროვნება ამოიცნო და სიგნალების გასამიჯნად უკეთესი საკონტროლო ნიმუშების გამოყენება მოითხოვა.

სამეცნიერო კვლევა მკვეთრად მულტიმოდალურია და ვიზუალური მასალის მუდმივ ინტერპრეტაციასა და გადაწყვეტილებების მიღებას მოითხოვს. Astra-მ მნიშვნელოვნად უკეთ გაართვა თავი მულტიმოდალურ მონაცემებს: ფოტოებსა და ვიდეოებს, ასევე სეკვენირების, პლანშეტის წამკითხველით ჩატარებული ანალიზების, მიკროსკოპიისა და გამდინარე ციტომეტრიის დაუმუშავებელ შედეგებს.

ყველაზე საბაზისო დონეზე ეს გაუმჯობესება გამოჩნდა GPT‑6 Astra-ს უნარში, ექსპერიმენტების დროს გადაღებულ სურათებში უფრო წვრილი დეტალები შეემჩნია და, შესაბამისად, უფრო ზუსტი დასკვნები გამოეტანა, როგორც ამ მაგალითშია ნაჩვენები. ამ დავალებაში აგენტებს დნმ-ის კლონირების ექსპერიმენტიდან დასკვნები უნდა გამოეტანათ — ასეთ ექსპერიმენტში საკონტროლო ნიმუშები აუცილებელია. GPT‑5.6 Sol-მა უარყოფითი კონტროლის ფინჯანზე კოლონიები ვერ დაინახა და დასკვნები ამ დაკვირვებაზე დააფუძნა. GPT‑6 Astra-მ შეამჩნია, რომ ფინჯანზე სხვა ანტიბიოტიკი იყო მითითებული და მართებულად უარყო მისი სანდო საკონტროლო ნიმუშად გამოყენება.

მონაცემების სწორად ინტერპრეტაციისთვის მეცნიერებმა ანალიზისას უნდა გაითვალისწინონ როგორც გამოცდილებით შეძენილი ბიოლოგიური ცოდნა, ისე ექსპერიმენტის კონტექსტი. Astra-მ უკეთ შეძლო ამ კონტექსტის შენარჩუნება და მთელი ანალიზის განმავლობაში გამოყენება.

ერთ დავალებაში მიკროსკოპული სურათების სერიაზე უჯრედები ხან ფოკუსში ექცეოდა, ხან კი ფოკუსიდან გადიოდა. GPT‑5.6 Sol უჯრედების მოჩვენებით გაქრობას ბიოლოგიურ ახსნას უძებნიდა, GPT‑6 Astra-მ კი სწორად ამოიცნო z-სტეკი — სხვადასხვა სიღრმეზე გადაღებული სურათების სერია.

ბენჩმარკზე უფრო მაღალი ქულები ჯერ კიდევ არ ნიშნავს, რომ მოდელებს ლაბორატორიაში სანდო შეფასებების გაკეთება შეუძლიათ. Astra-ს ეს მაგალითები აჩვენებს, როგორ შეიძლება ვარაუდებმა, მოსალოდნელმა პასუხებმა და მოწოდებულმა წარწერებმა გადაწონოს ფაქტობრივი მონაცემები, ხოლო სწორმა შუალედურმა დაკვირვებამ საბოლოო გადაწყვეტილება ვერ განსაზღვროს.

Astra ნაცნობ ვარაუდს უპირატესობას ანიჭებს იმ ინტერპრეტაციასთან შედარებით, რომელსაც ექსპერიმენტის საკონტროლო ნიმუშები ამყარებს. მას შეუძლია კოლონიების ზოლების ორი ჯგუფის გარჩევა, მაგრამ ვარაუდობს, რომ უფრო დიდი ზომის PCR პროდუქტი წარმატებულ კლონირებაზე მიუთითებს. ამ პირობით ის გვთავაზობს ბილიკებს 4, 6, 7 და 8; საეტალონო პასუხში კი საკონტროლო ნიმუშებთან შედარებით შერჩეულია ბილიკები 5, 9 და 10.

Astra ნაკლებ მნიშვნელობას ანიჭებს დაკვირვებებს, რომლებიც მისთვის სასურველ ინტერპრეტაციას ეწინააღმდეგება. ის ასკვნის, რომ ვაკუოლები — უჯრედშიდა განყოფილებები — უფრო მუქია, ვიდრე უჯრედის მათ გარშემო მდებარე ნაწილი, მიუხედავად იმისა, რომ იმავე სურათში ზოგი მათგანი უფრო ნათელი ჩანს. ორივე ვარიანტი მნიშვნელოვანია: მიკროსკოპის ფოკუსის ცვლილებამ შესაძლოა კონტრასტი შეაბრუნოს, ამიტომ მუქი მაგალითები ზოგად წესს ვერ ადგენს.

Astra-ს დათვლის ნიშნები ცალკეულ კოლონიებს საიმედოდ არ შეესაბამება: ის ერთმანეთისგან ვერ არჩევს ახლო მეზობლებს, ტოვებს ხილულ კოლონიებს და ნიშნავს ცარიელ აგარს. შედეგად, ამ ფინჯანზე კოლონიების რაოდენობა ბენჩმარკის საეტალონო მაჩვენებელთან შედარებით დაახლოებით 12%-ით გადაჭარბებულადაა დათვლილი.

კოლონიების არაზუსტი დათვლა პირდაპირ მოქმედებს უჯრედებში დნმ-ის შეტანის ეფექტიანობის შეფასებაზე. თუ დათესილი მოცულობა და განზავება უცვლელია, გადაჭარბებული დათვლა ამ შეფასებას იმავე პროპორციით ზრდის.

ბიოლოგიური კვლევის დაჩქარებისთვის ყოველდღიური სამუშაო სწორად უნდა შესრულდეს. BioBasicsBench გაუმჯობესების სამიზნედ სწორედ ამ სამუშაოს აქცევს: დაუმუშავებელი ექსპერიმენტული მონაცემების ინტერპრეტაციას, საკონტროლო ნიმუშების შემოწმებასა და დაუსაბუთებელი დასკვნების ამოცნობას. ამ დავალებებში პროგრესი მეცნიერებს შეიძლება დაეხმაროს, ნაკლები დრო დაუთმონ პრობლემების მოგვარებას და მეტი — იმის გადაწყვეტას, რომელი ექსპერიმენტები ჩაატარონ შემდეგ. ამ შესაძლებლობების მონიტორინგი ასევე დაგვეხმარება, გავიგოთ მათი გავლენა ბიოუსაფრთხოებასა და ბიოდაცვაზე.