Hermes Vector

हिन्दी ·

IBM ने चैट, निर्णय और वाणी के लिए Granite Switch 4.1 एआई मॉडल जारी किए

IBM ने Granite Switch 4.1 जारी किया है, जो 8B और 30B पैरामीटर आकारों में उपलब्ध एक मॉड्यूलर एआई मॉडल है। ये मॉडल एक बेस लैंग्वेज मॉडल को निर्णय और सुरक्षा एडapters के साथ-साथ एक स्पीच एन्कोडर के साथ जोड़ते हैं, जिससे एक ही सेल्फ-होस्टेड एंडपॉइंट पर कई कार्य संभव हो जाते हैं।

लेखक Hermes-Vector AI Desk · Read in English

चित्र: IBM ने चैट, निर्णय और वाणी के लिए Granite Switch 4.1 एआई मॉडल जारी किए

संक्षेप में

  • IBM ने 15 अक्टूबर, 2026 को Granite Switch 4.1 को 8B और 30B पैरामीटर आकारों में जारी किया।
  • ये मॉडल एक बेस मॉडल को निर्णय, सुरक्षा और स्पीच एडapters के साथ एक ही सेल्फ-होस्टेड एंडपॉइंट में जोड़ते हैं।
  • IBM ने रिपोर्ट किया कि 30B निर्णय एडapters ने Decision Index पर 50.1 का स्कोर प्राप्त किया, जो सुरक्षा कार्यों में कई बंद मॉडलों से बेहतर प्रदर्शन करता है।
  • स्पीच एन्कोडर केवल अंग्रेजी में है और लैंग्वेज मॉडल के साथ संयुक्त रूप से प्रशिक्षित नहीं है, जिससे गलत प्रतिलेखन (mistranscriptions) का जोखिम बना रहता है।

IBM ने 15 अक्टूबर, 2026 को Granite Switch 4.1 की घोषणा की, जिसमें 8 अरब और 30 अरब पैरामीटर वाले दो मॉड्यूलर लैंग्वेज मॉडल जारी किए गए। ये मॉडल एक बेस मॉडल, एक सामान्य उद्देश्य वाले निर्णय एडapters, एक सुरक्षा एडapters और एक एम्बेडेड स्पीच-टू-टेक्स्ट एन्कोडर को एक ही एंडपॉइंट में संयोजित करते हैं। मॉडल कार्ड्स के अनुसार, चेकपॉइंट Apache 2.0 लाइसेंस के तहत हैं और Hugging Face Transformers और vLLM बैकएंड का समर्थन करते हैं।

मॉड्यूलर आर्किटेक्चर और एडapters

रिलीज़ में Granite-Switch-4.1-8B और Granite-Switch-4.1-30B शामिल हैं, जिन्हें 128K कॉन्टेक्स्ट विंडो वाले बेस मॉडल पर बनाया गया है। प्रत्येक चेकपॉइंट फ्रोजन बेस मॉडल के साथ तीन घटकों को संयोजित करता है:

  • निर्णय एडapters (Decision Adapter): सामान्य उद्देश्य वाले निर्णय लेने के लिए एक Activated LoRA (aLoRA), जो एक ही फॉरवर्ड पास में लेबल किए गए विकल्पों पर एक softmax प्रायिकता वितरण उत्पन्न करता है।
  • Guardian-Core: IBM की Guardian लाइब्रेरी से एक aLoRA जो हानि, जेलब्रेकिंग, गाली-गलौज, हिंसा, यौन सामग्री, सामाजिक पूर्वाग्रह और अनैतिक व्यवहार सहित सुरक्षा जोखिमों का पता लगाता है।
  • स्पीच एन्कोडर (Speech Encoder): Granite Speech 5.0 TurboCTC, एक 470 मिलियन पैरामीटर वाला, अंग्रेजी, गैर-स्वतःप्रवर्तनशील (non-autoregressive) conformer CTC एन्कोडर जो प्रतिलेखन के लिए एम्बेडेड है।

IBM का कहना है कि बेस मॉडल के साथ ये तीनों तकनीकें लगभग उतनी ही GPU मेमोरी की आवश्यकता रखती हैं जितनी कि केवल बेस मॉडल को होती है। आर्किटेक्चर में मोटे दानेदार विशेषज्ञ स्विचिंग (coarse-grained expert switching) का उपयोग किया जाता है, जहां एक एडapters टोकन के एक सतत स्पैन के लिए सभी डिकोडर लेयर में सक्रिय रहता है। कॉलर चैट टेम्पलेट में एडapters का नाम पास करके उसे सक्रिय करते हैं, जो स्वचालित रूप से संबंधित नियंत्रण टोकन (control token) डाल देता है।

प्रदर्शन और बेंचमार्क

IBM ने रिपोर्ट किया कि guardian-core एडapters औसतन सुरक्षा-संबंधी निर्णय कार्यों में Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions और Clef-Flash से बेहतर प्रदर्शन करता है। IBM के प्रकाशित तुलना में, सर्वश्रेष्ठ Granite एडapters ने OOD Safety में 2.3 अंक, IFEval में 17.0, BIO F1 में 11.0 और RAGTruth में 11.8 से आगे रहते हुए, LM-AggreFact में 2.6, InfoBench-GPT4 में 3.2 और InfoBench-Human में 0.8 से पीछे रहते हुए समाप्त किया।

मॉडल कार्ड्स निर्णय एडapters के लिए Decision Index स्कोर रिपोर्ट करते हैं, जिसे बेंचमार्क के सार्वजनिक तेज उपसमुच्चय (fast subset) 1,068 पंक्तियों पर मापा गया है। 8B एडapters ने कुल मिलाकर 42.9 का स्कोर प्राप्त किया, जबकि 30B एडapters ने कुल मिलाकर 50.1 का स्कोर प्राप्त किया। IBM ने यह भी रिपोर्ट किया कि एक कस्टम 3-अरब-पैरामीटर Granite Switch मॉडल ने गेम Doom खेलते समय प्रति सेकंड 60 से 100 निर्णय लिए, जबकि Jev के लिए प्रति सेकंड 10 निर्णय रिपोर्ट किए गए थे।

सीमाएं और तैनाती

ये मॉडल सेल्फ-होस्टिंग के लिए डिज़ाइन किए गए हैं। OrcaRouter नोट करता है कि Granite Switch 4.1 के लिए कोई प्रबंधित एंडपॉइंट नहीं है, और इसे एक GPU और एक कंटेनर की आवश्यकता वाले "सेल्फ-होस्ट स्टोरी" के रूप में वर्णित करता है। रिपॉजिटरी में आवश्यकताओं की सूची दी गई है जिसमें Python 3.9 या बाद का संस्करण, PyTorch 2.11.0 या बाद का संस्करण, Transformers 5.16 से 5.17.0 तक, और वैकल्पिक रूप से vLLM 0.26.0 से 0.28.0 तक (लेकिन 0.28.0 शामिल नहीं) शामिल हैं।

मॉडल कार्ड्स कई सीमाओं को दर्ज करते हैं। स्पीच कैस्केड केवल अंग्रेजी में काम करता है और लोअरकेस, बिना विराम चिह्न वाले प्रतिलेखन लौटाता है, जिसमें डिकोड-टाइम स्टीयरिंग नहीं होती है। चूंकि ASR एन्कोडर लैंग्वेज मॉडल या एडapters के साथ संयुक्त रूप से प्रशिक्षित नहीं है, इसलिए एक गलत प्रतिलेखन चुपचाप यह बदल सकती है कि मॉडल या एडapters किस पर प्रतिक्रिया देता है। इसके अतिरिक्त, vLLM निर्णय विकल्प-लेबल logprob अनुरोधों को 128 टोकन आईडी तक सीमित करता है, इसलिए अधिक विकल्प वाले प्रश्नों को चंक्ड अनुरोधों में विभाजित करना आवश्यक है।

यह क्यों महत्वपूर्ण है

Granite Switch 4.1 मॉड्यूलर एआई तैनाती की ओर एक बदलाव का प्रतिनिधित्व करता है, जो डेवलपर्स को एक ही मॉडल चेकपॉइंट के भीतर चैट, निर्णय लेने, सुरक्षा स्क्रीनिंग और स्पीच-टू-टेक्स्ट क्षमताओं को जोड़ने की अनुमति देता है। Activated LoRA एडapters का उपयोग करके जो बेस मॉडल के KV कैश को साझा करते हैं, IBM का लक्ष्य कई विशेष मॉडलों को चलाने से जुड़ी मेमोरी ओवरहेड और विलंबता को कम करना है। हालांकि, रिलीज़ दो दिन पुरानी है और इसका कोई स्वतंत्र तृतीय-पक्ष मूल्यांकन नहीं है, और स्पीच पथ में लैंग्वेज मॉडल के साथ संयुक्त प्रशिक्षण की कमी उन अनुप्रयोगों के लिए एक संभावित जोखिम प्रस्तुत करती है जहां प्रतिलेखन त्रुटियों के महत्वपूर्ण परिणाम होते हैं।

स्रोत (अंग्रेज़ी में)

यह मूल अंग्रेज़ी लेख का एआई द्वारा किया गया अनुवाद है, जिसे स्वचालित रूप से जाँचा गया है ताकि यह मूल लेख जैसी ही बात कहे। स्रोतों की जाँच अंग्रेज़ी में की गई थी।

Advertisement

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

IBM ने चैट, निर्णय और वाणी के लिए Granite Switch 4.1 एआई मॉडल जारी किए | Hermes Vector