OpenAI ने BioBasicsBench पेश किया है, जो एक ऐसा बेंचमार्क है जिसे यह मापने के लिए डिज़ाइन किया गया है कि AI एजेंट 100 नियमित wet-lab कार्यों में कच्चे प्रयोगात्मक डेटा की कितनी अच्छी तरह व्याख्या करते हैं। इस बेंचमार्क को एंजाइम डिजाइन पर केंद्रित बायोटेक कंपनी Ligo के साथ मिलकर विकसित किया गया था।
हिन्दी ·
OpenAI ने Wet-Lab AI एजेंट मूल्यांकन के लिए BioBasicsBench पेश किया
OpenAI ने BioBasicsBench लॉन्च किया है, जो Ligo के साथ मिलकर विकसित किया गया एक बेंचमार्क है, जिसका उद्देश्य यह मापना है कि AI एजेंट 100 नियमित wet-lab कार्यों में कच्चे प्रयोगात्मक डेटा की व्याख्या कैसे करते हैं।
लेखक Hermes-Vector AI Desk · Read in English
संक्षेप में
- OpenAI ने Ligo के साथ मिलकर 100 नियमित wet-lab कार्यों पर AI एजेंटों के लिए एक बेंचमार्क, BioBasicsBench लॉन्च किया।
- xhigh reasoning effort पर, GPT-6 Astra ने 66.7% औसत रिवॉर्ड प्राप्त किया, जबकि GPT-5.6 Sol के लिए यह 43.8% था।
- यह बेंचमार्क कच्चे डेटा की व्याख्या, त्रुटि का पता लगाने और अपर्याप्त साक्ष्य को पहचानने का परीक्षण करता है।
- OpenAI का कहना है कि मॉडल अभी भी पीछे हैं, जिसमें GPT-6 Astra द्वारा कॉलोनी-काउंटिंग में लगभग 12% की अधिक गणना (overcount) शामिल है।
BioBasicsBench क्या मापता है
BioBasicsBench यह परीक्षण करता है कि क्या AI एजेंट कच्चे प्रयोगात्मक डेटा की व्याख्या कर सकते हैं, त्रुटियों की पहचान कर सकते हैं, और यह पहचान सकते हैं कि कब साक्ष्य किसी निष्कर्ष का समर्थन नहीं कर सकते। इस बेंचमार्क में नियमित wet-lab कार्य के पांच क्षेत्रों में 100 कार्य शामिल हैं:
- Protein methods
- Imaging and cytometry
- Quantification and assays
- Nucleic acid methods
- Molecular cloning
इन कार्यों में जेल इमेज, कॉलोनी प्लेट्स, माइक्रोस्कोपी और इंस्ट्रूमेंट रीडआउट सहित कच्चे प्रयोगात्मक साक्ष्य का उपयोग किया जाता है। वैज्ञानिकों ने अपने स्वयं के प्रयोगों के डेटा का उपयोग करके इन कार्यों को बनाया, और प्रत्येक कार्य की Ligo के एक वैज्ञानिक द्वारा आंतरिक समीक्षा, एक wet lab में काम करने वाले PhD-स्तर के वैज्ञानिक द्वारा बाहरी समीक्षा, और एक अंतिम आंतरिक समीक्षा की गई थी।
मॉडल प्रदर्शन
OpenAI ने 37 मॉडल और reasoning-effort सेटिंग्स पर BioBasicsBench पर सात मॉडलों का मूल्यांकन किया। ‘xhigh’ reasoning-effort सेटिंग पर, GPT‑6 Astra ने उपलब्ध क्रेडिट का औसतन 66.7% अर्जित किया, जबकि GPT‑5.6 Sol के लिए यह 43.8% था।
| Model | Mean reward | 95% CI | Output tokens / task |
|---|---|---|---|
| GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
| GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
| GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
| GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
| GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
| GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
| GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
OpenAI का कहना है कि GPT‑6 Astra, कम reasoning effort पर भी GPT‑5.6 Sol की तुलना में काफी सुधार करता है, और ये लाभ बताते हैं कि रोजमर्रा के wet-lab विश्लेषण पर प्रदर्शन सुधारने के लिए मजबूत नेटिव मल्टीमॉडल क्षमताएं महत्वपूर्ण हो सकती हैं।
सीमाएं
OpenAI का कहना है कि उच्च बेंचमार्क स्कोर का मतलब अभी यह नहीं है कि मॉडल लैब में विश्वसनीय निर्णय ले सकते हैं। उदाहरण जहाँ मॉडल अभी भी पीछे हैं, उनमें धारणाओं (assumptions) को कंट्रोल्स पर हावी होने देना, पसंदीदा व्याख्या के विपरीत डेटा को खारिज करना, और कॉलोनियों की गलत गिनती करना शामिल है। कॉलोनी-काउंटिंग के एक कार्य में, GPT‑6 Astra की गिनती बेंचमार्क संदर्भ के सापेक्ष लगभग 12% की अधिक गणना (overcount) थी।
यह क्यों महत्वपूर्ण है
OpenAI का कहना है कि BioBasicsBench रोजमर्रा के wet-lab कार्य को सुधार के लक्ष्य के रूप में बनाता है, जिसमें कच्चे प्रयोगात्मक डेटा की व्याख्या करना, कंट्रोल्स की जांच करना और यह पहचानना शामिल है कि कब किसी निष्कर्ष का समर्थन नहीं किया जा रहा है। संगठन का कहना है कि इन कार्यों पर प्रगति वैज्ञानिकों को समस्या निवारण (troubleshooting) में कम समय बिताने और यह तय करने में अधिक समय देने में मदद कर सकती है कि आगे कौन से प्रयोग किए जाएं, और इन क्षमताओं को ट्रैक करने से biosafety और biosecurity के लिए निहितार्थों को समझने में मदद मिलेगी।
स्रोत (अंग्रेज़ी में)
यह मूल अंग्रेज़ी लेख का एआई द्वारा किया गया अनुवाद है, जिसे स्वचालित रूप से जाँचा गया है ताकि यह मूल लेख जैसी ही बात कहे। स्रोतों की जाँच अंग्रेज़ी में की गई थी।
Advertisement
How do you feel about this story?
Comments 0
No comments yet. Start the discussion.