दीपसेक की सामर्थ्य एक मिथक है: क्रांतिकारी एआई वास्तव में विकसित करने के लिए $ 1.6 बिलियन का खर्च आता है

दीपसेक के नए चैटबोट में एक प्रभावशाली परिचय है: "हाय, मैं बनाया गया था ताकि आप कुछ भी पूछ सकें और एक जवाब प्राप्त कर सकें जो आपको आश्चर्यचकित भी कर सके।" यह एआई, चीनी स्टार्टअप दीपसेक का एक उत्पाद, तेजी से एक प्रमुख खिलाड़ी बन गया है, यहां तक ​​कि एनवीडिया के स्टॉक मूल्य में महत्वपूर्ण गिरावट का कारण भी।

दीपसेक की प्रतिस्पर्धी बढ़त अपने अभिनव वास्तुकला और प्रशिक्षण विधियों में निहित है। प्रमुख प्रौद्योगिकियों में शामिल हैं:

• मल्टी-टोकन भविष्यवाणी (एमटीपी): व्यक्तिगत रूप से शब्दों की भविष्यवाणी करने के बजाय, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, सटीकता और दक्षता को बढ़ाता है।
• विशेषज्ञों का मिश्रण (MOE): यह आर्किटेक्चर कई तंत्रिका नेटवर्क (डीपसेक वी 3 में 256, आठ टोकन के साथ आठ सक्रिय), प्रशिक्षण में तेजी लाने और प्रदर्शन को बढ़ाने का उपयोग करता है।
• मल्टी-हेड लेटेंट ध्यान (एमएलए): एमएलए बार-बार महत्वपूर्ण वाक्य भागों पर ध्यान केंद्रित करता है, जिससे महत्वपूर्ण जानकारी के अनदेखी के जोखिम को कम किया जाता है।

दीपसेक का केवल 2048 जीपीयू का उपयोग करते हुए डीपसेक वी 3 के लिए केवल $ 6 मिलियन प्रशिक्षण लागत का प्रारंभिक दावा चुनौती दी गई है। सेमियालिसिस ने एक अधिक व्यापक बुनियादी ढांचे का खुलासा किया, जिसमें लगभग 50,000 एनवीडिया हॉपर जीपीयू (10,000 H800s, 10,000 H100s और अतिरिक्त H20S सहित) कई डेटा केंद्रों में फैले हुए शामिल हैं। यह लगभग $ 1.6 बिलियन के सर्वर निवेश में अनुवाद करता है और $ 944 मिलियन में अनुमानित परिचालन व्यय है।

एक चीनी हेज फंड, हाई-फ्लायर की सहायक कंपनी दीपसेक अपने डेटा सेंटरों का मालिक है, नियंत्रण और नवाचार को बढ़ावा देती है। इसकी स्व-वित्त पोषित प्रकृति तेजी से निर्णय लेने की अनुमति देती है। इसके अलावा, कंपनी शीर्ष प्रतिभा को आकर्षित करती है, कुछ शोधकर्ताओं ने मुख्य रूप से चीनी विश्वविद्यालयों से सालाना $ 1.3 मिलियन से अधिक कमाई की।

जबकि दीपसेक का $ 6 मिलियन प्रशिक्षण लागत का दावा भ्रामक है (केवल पूर्व-प्रशिक्षण जीपीयू उपयोग को दर्शाते हुए, अनुसंधान, शोधन, डेटा प्रोसेसिंग और इन्फ्रास्ट्रक्चर को छोड़कर), कंपनी ने एआई विकास में $ 500 मिलियन से अधिक का निवेश किया है। इसकी दुबला संरचना कुशल नवाचार की सुविधा प्रदान करती है।

दीपसेक की सफलता उद्योग के दिग्गजों के साथ प्रतिस्पर्धा करने के लिए एक अच्छी तरह से वित्त पोषित, स्वतंत्र एआई कंपनी की क्षमता को प्रदर्शित करती है। हालांकि, इसकी उपलब्धियों को पर्याप्त निवेश, तकनीकी प्रगति और एक मजबूत टीम पर बनाया गया है, जिससे "क्रांतिकारी बजट" एक ओवरसिम्पलीफिकेशन है। फिर भी, दीपसेक की लागत प्रतियोगियों की तुलना में काफी कम है। उदाहरण के लिए, Chatgpt4 के $ 100 मिलियन की तुलना में दीपसेक के R1 मॉडल की लागत $ 5 मिलियन है।