Доступность DeepSeek - это миф: революционный ИИ на самом деле стоит 1,6 миллиарда долларов на разработку

Новый чат -бот DeepSeek может похвастаться впечатляющим введением: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Этот ИИ, продукт китайского стартапа DeepSeek, быстро стал крупным игроком, даже вызывая значительные падения цен на акции Nvidia.

Конкурентное преимущество DeepSeek заключается в его инновационной архитектуре и методах обучения. Ключевые технологии включают:

• Multi-Token Prediction (MTP): вместо прогнозирования слов индивидуально, MTP прогнозирует несколько слов одновременно, повышая точность и эффективность.
• Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей (256 в DeepSeek V3, с восемью активированными на токен), ускоряющие тренировки и повышение производительности.
• Многопользовательское скрытое внимание (MLA): MLA неоднократно фокусируется на ключевых частях предложения, сводя к минимуму риск упущения важной информации.

Первоначальная претензия DeepSeek о стоимости обучения Deepseek V3, используя только 2048 графических процессоров, была оспорена. Семианализ выявил гораздо более обширную инфраструктуру, охватывающую приблизительно 50 000 графических процессоров Nvidia Hopper (включая 10 000 H800, 10 000 H100 и дополнительные H20) в нескольких центрах обработки данных. Это приводит к инвестициям в сервер в размере примерно 1,6 миллиарда долларов, а эксплуатационные расходы оцениваются в 944 миллиона долларов.

DeepSeek, дочерняя компания High-Flyer, китайского хедж-фонда, владеет своими центрами обработки данных, способствуя контролю и инновациям. Его самофинансируемая природа допускает быстрое принятие решений. Кроме того, компания привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в основном из китайских университетов.

Хотя требование DeepSeek в размере 6 миллионов долларов США вводит в заблуждение (отражает только предварительное использование графического процессора, исключая исследования, уточнение, обработку данных и инфраструктуру), компания инвестировала более 500 миллионов долларов в разработку ИИ. Его бережливая структура облегчает эффективные инновации.

Успех DeepSeek демонстрирует потенциал хорошо финансируемой независимой компании по искусству конкурировать с отраслевыми гигантами. Тем не менее, его достижения основаны на значительных инвестициях, технических достижениях и сильной команде, что делает повествование «революционного бюджета» упрощением. Несмотря на это, затраты DeepSeek остаются значительно ниже, чем конкуренты. Например, модель DeepSeek R1 стоила 5 миллионов долларов на обучение по сравнению с CHATGPT4 на 100 миллионов долларов.