Китайский DeepSeek выпустил «самую мощную» модель ИИ с открытым кодом

Китайский стартап DeepSeek выпустил превью-версии новой флагманской ИИ-модели V4, сообщает Interfax со ссылкой на заявление компании в соцсети Х.

DeepSeek назвал ее самой мощной моделью с открытым исходным кодом (open source), отметив высокие результаты V4 в программировании и значительный прогресс в областях рассуждений (reasoning) и выполнения агентских задач.

Модель имеет две линейки - V4 Flash и V4 Pro. Как сообщила компания на платформе Hugging Face, в них реализованы архитектурные и оптимизационные улучшения. 

Бюджетная Flash имеет 284 млрд параметров, включая 13 млрд активных, а продвинутая Pro - 1,6 трлн параметров (49 млрд активных).

В DeepSeek заявили, что версия Pro сопоставима по результатам с лучшими мировыми моделями с закрытым кодом. При этом стоимость ее эксплуатации (инференса) значительно ниже, чем у аналогов.

V4 основана на так называемой архитектуре гибридного внимания (Hybrid Attention Architecture), улучшающей способность запоминать запросы в рамках длинных диалогов. Она также поддерживает контекст длиной до 1 млн токенов, что позволяет обрабатывать длинные документы или целые базы кода в один прием.

DeepSeek в WeChat указывает на чрезвычайно ограниченное наличие вычислительных мощностей для обслуживания V4 Pro, но прогнозирует значительное снижение цен на модель после запуска компьютерных кластеров на чипах Huawei Ascend 950 во втором полугодии.