Przystępność Deepseek to mit: rewolucyjna sztuczna inteligencja kosztowała 1,6 miliarda dolarów na rozwój

Nowy chatbot Deepseek ma imponujące wprowadzenie: „Cześć, zostałem stworzony, abyś mógł zapytać wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć”. Ta sztuczna inteligencja, produkt chińskiego startupu Deepseek, szybko stał się głównym graczem, nawet powodując znaczne spadki ceny akcji NVIDIA.

Przewagę konkurencyjną Deepseek polega na innowacyjnej architekturze i metodach szkoleniowych. Kluczowe technologie obejmują:

• Prognozowanie wielu tokenów (MTP): Zamiast przewidywać słowa indywidualnie, MTP prognozuje wiele słów jednocześnie, zwiększając dokładność i wydajność.
• Mieszanka ekspertów (MOE): Architektura ta wykorzystuje wiele sieci neuronowych (256 w Deepseek V3, z ośmioma aktywowanymi na token), przyspieszając trening i zwiększając wydajność.
• Utrzymująca uwaga wielowłócona (MLA): MLA wielokrotnie koncentruje się na kluczowych częściach zdań, minimalizując ryzyko przeoczenia kluczowych informacji.

Pierwsze roszczenie Deepseek o zaledwie 6 milionów dolarów kosztów szkolenia Deepseek V3, przy użyciu zaledwie 2048 GPU, zostało zakwestionowane. Semianaliza ujawniła znacznie bardziej obszerną infrastrukturę, obejmującą około 50 000 GPU Nvidia Hopper (w tym 10 000 H800S, 10 000 H100S i dodatkowych H20) rozłożonych na wiele centrów danych. Przekłada się to na inwestycję serwerową w wysokości około 1,6 miliarda USD, a wydatki operacyjne szacowane na 944 mln USD.

Deepseek, spółka zależna od High-Flyer, chińskiego funduszu hedgingowego, jest właścicielem centrów danych, wspierania kontroli i innowacji. Jego samofinansowany charakter pozwala na szybkie podejmowanie decyzji. Ponadto firma przyciąga najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, głównie z chińskich uniwersytetów.

Podczas gdy roszczenie o wartości 6 milionów dolarów w wysokości 6 milionów dolarów wprowadza w błąd (odzwierciedlając jedynie korzystanie z GPU przed treningiem, z wyłączeniem badań, udoskonalania, przetwarzania danych i infrastruktury), firma zainwestowała ponad 500 milionów dolarów w rozwój AI. Jego szczupła struktura ułatwia wydajne innowacje.

Sukces Deepseek pokazuje potencjał dobrze finansowanej, niezależnej firmy AI do konkurowania z gigantami branżowymi. Jednak jego osiągnięcia opierają się na znacznych inwestycjach, postępach technicznych i silnym zespole, co czyni narrację „rewolucyjnego budżetu” nadmiernym uproszczeniem. Mimo to koszty Deepseek pozostają znacznie niższe niż konkurenci. Na przykład model R1 Deepseek kosztował 5 milionów dolarów, w porównaniu do 100 milionów dolarów Chatgpt4.