ডিপসিকের সাশ্রয়ী মূল্যের একটি মিথ: বিপ্লবী এআইয়ের বিকাশের জন্য $ 1.6 বিলিয়ন ডলার ব্যয় হয়

ডিপসেকের নতুন চ্যাটবট একটি চিত্তাকর্ষক ভূমিকা নিয়ে গর্ব করে: "হাই, আমি তৈরি হয়েছিল যাতে আপনি কিছু জিজ্ঞাসা করতে পারেন এবং এমন একটি উত্তর পেতে পারেন যা আপনাকে অবাক করে দিতে পারে।" এই এআই, চীনা স্টার্টআপ ডিপসিকের একটি পণ্য, দ্রুত একটি প্রধান খেলোয়াড় হয়ে উঠেছে, এমনকি এনভিডিয়ার শেয়ারের দামে উল্লেখযোগ্য হ্রাস পেয়েছে।

ডিপসিকের প্রতিযোগিতামূলক প্রান্তটি এর উদ্ভাবনী স্থাপত্য এবং প্রশিক্ষণের পদ্ধতির মধ্যে রয়েছে। মূল প্রযুক্তিগুলির মধ্যে রয়েছে:

• মাল্টি-টোকেন পূর্বাভাস (এমটিপি): স্বতন্ত্রভাবে শব্দের পূর্বাভাস দেওয়ার পরিবর্তে, এমটিপি একসাথে একাধিক শব্দের পূর্বাভাস দেয়, নির্ভুলতা এবং দক্ষতা বাড়িয়ে তোলে।
• বিশেষজ্ঞদের মিশ্রণ (এমওই): এই আর্কিটেকচারটি একাধিক নিউরাল নেটওয়ার্ক ব্যবহার করে (ডিপসেক ভি 3 -তে 256, প্রতি টোকেন প্রতি আটটি সক্রিয় করে), প্রশিক্ষণকে ত্বরান্বিত করে এবং কর্মক্ষমতা বাড়িয়ে তোলে।
• মাল্টি-হেডের সুপ্ত মনোযোগ (এমএলএ): এমএলএ বারবার মূল বাক্য অংশগুলিতে মনোনিবেশ করে, গুরুত্বপূর্ণ তথ্য উপেক্ষা করার ঝুঁকি হ্রাস করে।

ডিপসেকের প্রাথমিক দাবিটি কেবলমাত্র 2048 জিপিইউ ব্যবহার করে ডিপসেক ভি 3 এর জন্য মাত্র million মিলিয়ন ডলার প্রশিক্ষণ ব্যয়কে চ্যালেঞ্জ জানানো হয়েছে। সেমিয়ানালাইসিস একাধিক ডেটা সেন্টারে ছড়িয়ে প্রায় 50,000 এনভিডিয়া হপার জিপিইউ (10,000 এইচ 800, 10,000 এইচ 100 এস এবং অতিরিক্ত এইচ 20) সহ প্রায় 50,000 এনভিডিয়া হপার জিপিইউকে অন্তর্ভুক্ত করে অনেক বেশি বিস্তৃত অবকাঠামো প্রকাশ করেছে। এটি প্রায় $ 1.6 বিলিয়ন এবং অপারেশনাল ব্যয়ের একটি সার্ভার বিনিয়োগকে অনুবাদ করে $ 944 মিলিয়ন ডলার।

চীনা হেজ ফান্ড হাই-ফ্লায়ারের সহায়ক সংস্থা ডিপসেক তার ডেটা সেন্টারের মালিক, নিয়ন্ত্রণ এবং উদ্ভাবনকে উত্সাহিত করে। এর স্ব-অর্থায়িত প্রকৃতি দ্রুত সিদ্ধান্ত গ্রহণের অনুমতি দেয়। তদুপরি, সংস্থাটি শীর্ষ প্রতিভা আকর্ষণ করে, কিছু গবেষক মূলত চীনা বিশ্ববিদ্যালয় থেকে বার্ষিক ১.৩ মিলিয়ন ডলারের বেশি আয় করেন।

যদিও ডিপসিকের million মিলিয়ন ডলার প্রশিক্ষণ ব্যয়ের দাবি বিভ্রান্তিকর (কেবল প্রাক-প্রশিক্ষণ জিপিইউ ব্যবহারের প্রতিফলন, গবেষণা, পরিমার্জন, ডেটা প্রসেসিং এবং অবকাঠামো বাদ দিয়ে), সংস্থাটি এআই বিকাশে $ 500 মিলিয়ন ডলারের বেশি বিনিয়োগ করেছে। এর পাতলা কাঠামো দক্ষ উদ্ভাবনকে সহায়তা করে।

ডিপসিকের সাফল্য শিল্প জায়ান্টদের সাথে প্রতিযোগিতা করার জন্য একটি সু-অর্থায়িত, স্বতন্ত্র এআই সংস্থার সম্ভাবনা প্রদর্শন করে। যাইহোক, এর অর্জনগুলি যথেষ্ট পরিমাণে বিনিয়োগ, প্রযুক্তিগত অগ্রগতি এবং একটি শক্তিশালী দলের উপর নির্মিত, "বিপ্লবী বাজেট" আখ্যানকে একটি ওভারসিম্প্লিফিকেশন হিসাবে তৈরি করে। তবুও, ডিপসিকের ব্যয় প্রতিযোগীদের তুলনায় উল্লেখযোগ্যভাবে কম রয়েছে। উদাহরণস্বরূপ, ডিপসিকের আর 1 মডেলটি চ্যাটজিপিটি 4 এর 100 মিলিয়ন ডলার তুলনায় প্রশিক্ষণের জন্য 5 মিলিয়ন ডলার ব্যয় করেছে।