A acessibilidade do Deepseek é um mito: a IA revolucionária realmente custou US $ 1,6 bilhão para se desenvolver

O novo chatbot de Deepseek possui uma introdução impressionante: "Oi, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Essa IA, um produto da startup chinesa Deepseek, tornou -se rapidamente um participante importante, causando quedas significativas no preço das ações da NVIDIA.

A vantagem competitiva da Deepseek está em seus métodos inovadores de arquitetura e treinamento. As principais tecnologias incluem:

• Previsão com vários toques (MTP): Em vez de prever palavras individualmente, o MTP prevê várias palavras simultaneamente, aumentando a precisão e a eficiência.
• Mistura de especialistas (MOE): Esta arquitetura usa várias redes neurais (256 no Deepseek V3, com oito ativados por token), acelerando o treinamento e aprimorando o desempenho.
• Atenção latente de várias cabeças (MLA): O MLA se concentra repetidamente nas principais peças da frase, minimizando o risco de ignorar as informações cruciais.

A reivindicação inicial de Deepseek de meros custos de treinamento de US $ 6 milhões para o Deepseek V3, usando apenas 2048 GPUs, foi contestada. A semiânica revelou uma infraestrutura muito mais extensa, abrangendo aproximadamente 50.000 GPUs NVIDIA Hopper (incluindo 10.000 H800s, 10.000 H100s e H20s adicionais) espalhados por vários data centers. Isso se traduz em um investimento em servidor de aproximadamente US $ 1,6 bilhão e despesas operacionais estimadas em US $ 944 milhões.

A Deepseek, uma subsidiária da High-Flyer, um fundo de hedge chinês, possui seus data centers, promovendo controle e inovação. Sua natureza autofinanciada permite uma rápida tomada de decisão. Além disso, a empresa atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, principalmente das universidades chinesas.

Embora a reivindicação de custo de treinamento de US $ 6 milhões da Deepseek seja enganosa (refletindo apenas o uso de GPU pré-treinamento, excluindo pesquisas, refinamento, processamento de dados e infraestrutura), a empresa investiu mais de US $ 500 milhões em desenvolvimento de IA. Sua estrutura enxuta facilita a inovação eficiente.

O sucesso da Deepseek demonstra o potencial de uma empresa de IA independente e bem financiada para competir com os gigantes do setor. No entanto, suas realizações são construídas sobre investimentos substanciais, avanços técnicos e uma equipe forte, tornando a narrativa de "orçamento revolucionário" uma simplificação excessiva. Mesmo assim, os custos da Deepseek permanecem significativamente menores que os concorrentes. Por exemplo, o modelo R1 da Deepseek custou US $ 5 milhões para treinar, em comparação com os US $ 100 milhões do ChatGPT4.