Ang kakayahang magamit ng Deepseek ay isang alamat: ang rebolusyonaryong AI ay talagang nagkakahalaga ng $ 1.6 bilyon upang mabuo

Ipinagmamalaki ng bagong chatbot ng Deepseek ang isang kahanga -hangang pagpapakilala: "Kumusta, nilikha ako upang maaari kang magtanong ng anuman at makakuha ng isang sagot na maaaring sorpresa ka." Ang AI na ito, isang produkto ng China Startup Deepseek, ay mabilis na naging isang pangunahing manlalaro, kahit na nagdudulot ng mga makabuluhang patak sa presyo ng stock ni Nvidia.

Ang mapagkumpitensyang gilid ng DeepSeek ay nakasalalay sa makabagong mga pamamaraan ng arkitektura at pagsasanay. Ang mga pangunahing teknolohiya ay kasama ang:

• Multi-Token Prediction (MTP): Sa halip na mahulaan ang mga salita nang paisa-isa, ang mga pagtataya ng MTP ay maraming mga salita nang sabay-sabay, pagpapalakas ng kawastuhan at kahusayan.
• Paghahalo ng mga eksperto (MOE): Ang arkitektura na ito ay gumagamit ng maraming mga neural network (256 sa Deepseek V3, na may walong na -aktibo bawat token), pabilis na pagsasanay at pagpapahusay ng pagganap.
• Multi-head latent pansin (MLA): Ang MLA ay paulit-ulit na nakatuon sa mga pangunahing bahagi ng pangungusap, na binabawasan ang panganib ng pagtatanaw ng mahahalagang impormasyon.

Ang paunang pag -angkin ng Deepseek ng isang $ 6 milyong gastos sa pagsasanay para sa Deepseek V3, gamit lamang ang 2048 GPUs, ay hinamon. Ang Semianalysis ay nagsiwalat ng isang mas malawak na imprastraktura, na sumasaklaw sa humigit -kumulang na 50,000 nvidia hopper GPUs (kabilang ang 10,000 H800s, 10,000 H100s, at karagdagang mga H20) na kumalat sa maraming mga sentro ng data. Ito ay isinasalin sa isang pamumuhunan ng server na humigit -kumulang na $ 1.6 bilyon at mga gastos sa pagpapatakbo na tinatayang $ 944 milyon.

Ang Deepseek, isang subsidiary ng high-flyer, isang pondo ng hedge ng Tsino, ay nagmamay-ari ng mga sentro ng data nito, ang pagpapalakas ng kontrol at pagbabago. Ang kalikasan na pinondohan ng sarili ay nagbibigay-daan para sa mabilis na paggawa ng desisyon. Bukod dito, ang kumpanya ay umaakit sa nangungunang talento, na may ilang mga mananaliksik na kumikita ng higit sa $ 1.3 milyon taun -taon, lalo na mula sa mga unibersidad ng Tsino.

Habang ang $ 6 milyong pag-angkin ng gastos sa pagsasanay sa Deepseek ay nakaliligaw (sumasalamin lamang sa paggamit ng pre-training GPU, hindi kasama ang pananaliksik, pagpipino, pagproseso ng data, at imprastraktura), ang kumpanya ay namuhunan ng higit sa $ 500 milyon sa pag-unlad ng AI. Ang sandalan na istraktura nito ay nagpapadali ng mahusay na pagbabago.

Ang tagumpay ng Deepseek ay nagpapakita ng potensyal ng isang mahusay na pondo, independiyenteng kumpanya ng AI upang makipagkumpetensya sa mga higanteng industriya. Gayunpaman, ang mga nakamit nito ay itinayo sa malaking pamumuhunan, mga pagsulong sa teknikal, at isang malakas na koponan, na ginagawa ang "rebolusyonaryong badyet" na nagsasalaysay ng isang labis na pag -iingat. Kahit na, ang mga gastos sa Deepseek ay nananatiling mas mababa kaysa sa mga kakumpitensya. Halimbawa, ang modelo ng R1 ng Deepseek ay nagkakahalaga ng $ 5 milyon upang sanayin, kumpara sa $ 100 milyon ng ChatGPT4.