8 月 10 日消息，據《科創板日報》報道，華為將于 8 月 12 日在 2025 金融 AI 推理應用落地與發展論壇上，發布 AI 推理領域的突破性技術成果。據透露，這項成果或能降低中國 AI 推理對 HBM（高帶寬內存）技術的依賴，提升國內 AI 大模型推理性能，完善中國 AI 推理生態的關鍵部分。
華為在 AI 推理領域的技術突破已有先例。2025 年 3 月，北京大學聯合華為發布了 DeepSeek 全棧開源推理方案，該方案基于北大自研 SCOW 算力平臺系統和鶴思調度系統，整合了 DeepSeek、openEuler、MindSpore 與 vLLM / RAY 等社區開源組件，實現了華為昇騰上的 DeepSeek 高效推理。
在性能方面，華為昇騰已實現多項突破。例如 CloudMatrix 384 超節點部署 DeepSeek V3 / R1 時，在 50ms 時延約束下單卡 Decode 吞吐突破 1920 Tokens / s；Atlas 800I A2 推理服務器在 100ms 時延約束下單卡吞吐達到 808 Tokens / s。
科大訊飛與華為的合作也取得了顯著成果，雙方率先實現了國產算力上 MoE 模型的大規模跨節點專家并行集群推理，使推理吞吐提升 3.2 倍，端到端時延降低 50%。