OpenAI ने BioBasicsBench पेश किया है, जो एक बेंचमार्क है जिसे यह मापने के लिए डिज़ाइन किया गया है कि AI एजेंट 100 नियमित wet-lab कार्यों में कच्चे प्रयोगात्मक डेटा की व्याख्या कितनी अच्छी तरह करते हैं। इस बेंचमार्क को एंजाइम डिजाइन पर केंद्रित बायोटेक कंपनी Ligo के साथ मिलकर विकसित किया गया था।
हिन्दी ·
OpenAI ने Wet-Lab AI एजेंट मूल्यांकन के लिए BioBasicsBench पेश किया
OpenAI ने BioBasicsBench पेश किया है, जो एक बेंचमार्क है जो यह मापता है कि AI एजेंट Ligo के सहयोग से विकसित 100 नियमित wet-lab कार्यों में कच्चे प्रयोगात्मक डेटा की व्याख्या कैसे करते हैं।
लेखक Hermes-Vector AI Desk · Read in English
संक्षेप में
- OpenAI ने BioBasicsBench पेश किया, जो Ligo के साथ मिलकर विकसित 100 नियमित wet-lab कार्यों वाला एक बेंचमार्क है।
- GPT‑6 Astra ने xhigh reasoning effort पर 66.7% औसत रिवॉर्ड प्राप्त किया, जबकि GPT‑5.6 Sol के लिए यह 43.8% था।
- यह बेंचमार्क कच्चे डेटा की व्याख्या, त्रुटि का पता लगाने और अपर्याप्त साक्ष्य को पहचानने का परीक्षण करता है।
- OpenAI का कहना है कि मॉडल अभी भी कॉलोनी काउंटिंग और कंट्रोल इंटरप्रिटेशन जैसे क्षेत्रों में पीछे हैं।
BioBasicsBench क्या मापता है
BioBasicsBench यह परीक्षण करता है कि क्या एजेंट कच्चे प्रयोगात्मक डेटा की व्याख्या कर सकते हैं, त्रुटियों की पहचान कर सकते हैं, और यह पहचान सकते हैं कि कब साक्ष्य किसी निष्कर्ष का समर्थन नहीं कर सकते। यह बेंचमार्क कच्चे प्रयोगात्मक साक्ष्यों का उपयोग करता है, जिसमें जेल इमेज, कॉलोनी प्लेट्स, माइक्रोस्कोपी और इंस्ट्रूमेंट रीडआउट शामिल हैं।
ये 100 कार्य नियमित wet-lab कार्य के पांच क्षेत्रों में फैले हुए हैं: प्रोटीन मेथड्स, इमेजिंग और साइटोमेट्री, क्वांटिफिकेशन और एसेज़, न्यूक्लिक एसिड मेथड्स, और मॉलिक्यूलर क्लोनिंग। कार्य एक जेल में DNA सैंपल के आणविक भार को पढ़ने जैसे सरल अनुरोधों से लेकर विस्तृत एसे विश्लेषण तक विस्तृत हैं।
वैज्ञानिकों ने अपने स्वयं के प्रयोगों के डेटा का उपयोग करके इन कार्यों को बनाया है, जिसमें प्रत्येक प्रश्न को विशेषज्ञ द्वारा लिखे गए ग्रेडिंग मानदंडों के साथ जोड़ा गया है। प्रत्येक कार्य का Ligo के एक ऐसे वैज्ञानिक द्वारा आंतरिक समीक्षा की गई जिसने इसे लिखा नहीं था, एक wet lab में काम करने वाले PhD-स्तर के वैज्ञानिक द्वारा बाहरी समीक्षा की गई, और अंत में एक आंतरिक समीक्षा की गई।
मॉडल परिणाम
OpenAI ने BioBasicsBench पर सात मॉडलों का मूल्यांकन किया: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna और GPT‑6 Astra। मूल्यांकन में 37 मॉडल और रीजनिंग-एफर्ट सेटिंग्स शामिल हैं, जिसमें प्रत्येक सेटिंग में 100 कार्यों में से प्रत्येक पर पांच प्रयास किए गए, जिससे कुल 18,500 परिणाम प्राप्त हुए।
'xhigh' सेटिंग पर, जो प्रत्येक कार्य के लिए अधिक रीजनिंग की अनुमति देती है, GPT‑6 Astra ने उपलब्ध क्रेडिट का औसतन 66.7% अर्जित किया, जबकि GPT‑5.6 Sol के लिए यह 43.8% था।
xhigh reasoning effort पर प्रदर्शन:
| Model | Mean reward | 95% CI | Output tokens / task |
|---|---|---|---|
| GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
| GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
| GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
| GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
| GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
| GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
| GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
मॉडल अभी भी कहाँ पीछे हैं
OpenAI की रिपोर्ट है कि उच्च बेंचमार्क स्कोर का मतलब अभी तक यह नहीं है कि मॉडल लैब में विश्वसनीय निर्णय ले सकते हैं। कमियों के उदाहरणों में कंट्रोल के ऊपर धारणाओं का हावी होना, पसंदीदा व्याख्या के विपरीत डेटा को खारिज करना, और कॉलोनियों की गलत गिनती करना शामिल है। कॉलोनी काउंटिंग के एक उदाहरण में, Astra के काउंटिंग मार्क्स बेंचमार्क संदर्भ के सापेक्ष लगभग 12% की अधिक गिनती (overcount) का परिणाम रहे।
स्रोत (अंग्रेज़ी में)
यह मूल अंग्रेज़ी लेख का एआई द्वारा किया गया अनुवाद है, जिसे स्वचालित रूप से जाँचा गया है ताकि यह मूल लेख जैसी ही बात कहे। स्रोतों की जाँच अंग्रेज़ी में की गई थी।
Advertisement
How do you feel about this story?
Comments 0
No comments yet. Start the discussion.