OpenAI ने BioBasicsBench पेश किया है, जो एक ऐसा बेंचमार्क है जिसे यह मापने के लिए डिज़ाइन किया गया है कि AI एजेंट 100 नियमित wet-lab कार्यों में कच्चे प्रयोगात्मक डेटा की कितनी अच्छी तरह व्याख्या करते हैं। इस बेंचमार्क को Ligo के साथ मिलकर विकसित किया गया है, जो एंजाइम डिजाइन पर केंद्रित एक बायोटेक कंपनी है।
हिन्दी ·
OpenAI ने Wet-Lab AI एजेंट मूल्यांकन के लिए BioBasicsBench पेश किया
OpenAI ने BioBasicsBench लॉन्च किया है, जो Ligo के साथ मिलकर विकसित किया गया एक बेंचमार्क है, जिसका उद्देश्य 100 नियमित wet-lab कार्यों में यह मापना है कि AI एजेंट कच्चे प्रयोगात्मक डेटा की व्याख्या कैसे करते हैं।
लेखक Hermes-Vector AI Desk · Read in English
संक्षेप में
- OpenAI ने Ligo के साथ मिलकर 100 नियमित wet-lab कार्यों पर AI एजेंटों के लिए एक बेंचमार्क, BioBasicsBench लॉन्च किया।
- xhigh reasoning effort पर, GPT-6 Astra ने 66.7% औसत रिवॉर्ड प्राप्त किया, जबकि GPT-5.6 Sol के लिए यह 43.8% था।
- यह बेंचमार्क कच्चे डेटा की व्याख्या, त्रुटि का पता लगाने और अपर्याप्त साक्ष्य को पहचानने का परीक्षण करता है।
- OpenAI का कहना है कि मॉडल अभी भी धारणाओं (assumptions) द्वारा नियंत्रणों (controls) को ओवरराइड करने और कॉलोनी काउंटिंग की सटीकता में संघर्ष कर रहे हैं।
बेंचमार्क संरचना
BioBasicsBench में नियमित wet-lab कार्य के पांच क्षेत्रों में 100 कार्य शामिल हैं: प्रोटीन विधियाँ, इमेजिंग और साइटोमेट्री, मात्रा निर्धारण और परख (assays), न्यूक्लिक एसिड विधियाँ, और आणविक क्लोनिंग। वैज्ञानिकों ने अपने स्वयं के प्रयोगों के डेटा का उपयोग करके इन कार्यों को बनाया, जिसमें प्रत्येक प्रश्न को विशेषज्ञ द्वारा लिखे गए ग्रेडिंग मानदंडों के साथ जोड़ा गया। प्रत्येक कार्य की समीक्षा Ligo के एक ऐसे वैज्ञानिक द्वारा की गई जिसने उसे लिखा नहीं था, एक wet lab में काम करने वाले PhD-स्तर के वैज्ञानिक द्वारा बाहरी समीक्षा की गई, और अंत में एक आंतरिक समीक्षा की गई।
यह बेंचमार्क कच्चे प्रयोगात्मक साक्ष्यों का उपयोग करता है, जिसमें जेल और ब्लॉट इमेज, प्लेट फोटोग्राफ, माइक्रोस्कोपी स्टैक्स, सीक्वेंसिंग रीड्स, प्लेट-रीडर एक्सपोर्ट और बेंच वर्क के वीडियो शामिल हैं। लैडर चार्ट और प्लास्मिड मैप जैसे संदर्भ पत्र (reference sheets), प्रयोगात्मक साक्ष्यों की व्याख्या में सहायता करते हैं।
मॉडल परिणाम
OpenAI ने BioBasicsBench पर सात मॉडलों का मूल्यांकन किया: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna और GPT‑6 Astra। मूल्यांकन में 37 मॉडल और रीजनिंग-एफर्ट सेटिंग्स शामिल हैं, जिसमें प्रत्येक सेटिंग में 100 कार्यों में से प्रत्येक पर 5 प्रयास किए गए, जिससे कुल 18,500 परिणाम प्राप्त हुए।
'xhigh' सेटिंग पर, जो प्रत्येक कार्य के लिए अधिक रीजनिंग की अनुमति देती है, GPT‑6 Astra ने उपलब्ध क्रेडिट का औसतन 66.7% अर्जित किया, जबकि GPT‑5.6 Sol के लिए यह 43.8% था।
| मॉडल | औसत रिवॉर्ड | 95% CI | आउटपुट टोकन / कार्य |
|---|---|---|---|
| GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
| GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
| GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
| GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
| GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
| GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
| GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
जहाँ मॉडल अभी भी पीछे हैं
OpenAI की रिपोर्ट है कि उच्च बेंचमार्क स्कोर का मतलब अभी यह नहीं है कि मॉडल लैब में विश्वसनीय निर्णय ले सकते हैं। कमियों के उदाहरणों में धारणाओं को नियंत्रणों (controls) पर हावी होने देना, पसंदीदा व्याख्या के विपरीत डेटा को खारिज करना और कॉलोनियों की गलत गिनती करना शामिल है। कॉलोनी-काउंटिंग के एक उदाहरण में, Astra के काउंटिंग मार्क्स बेंचमार्क संदर्भ के सापेक्ष लगभग 12% की अधिक गिनती (overcount) का परिणाम रहे।
स्रोत (अंग्रेज़ी में)
यह मूल अंग्रेज़ी लेख का एआई द्वारा किया गया अनुवाद है, जिसे स्वचालित रूप से जाँचा गया है ताकि यह मूल लेख जैसी ही बात कहे। स्रोतों की जाँच अंग्रेज़ी में की गई थी।
Advertisement
How do you feel about this story?
Comments 0
No comments yet. Start the discussion.