不如去干活
头条 · 国产 XPU

国产昆仑芯 P800 部署线性注意力大模型的 28 个问题

一、引言在国产 XPU 上部署大模型，常被问一句"能不能跑"。这次项目的回答是：能跑，但从"能跑"到"跑好"，隔着 28 个问题，分属 6 类。本文先画地图：问题长什么样、分布在哪里、哪里最容易翻车。二、部署背景单机 8×96G 昆仑芯 P800-OAM，vllm-kunlun，Qwen3.8-27B-INT8-W8A8-Dynamic（qwen3_5），…

国产 XPU

投机解码(MTP)在国产 XPU 上从崩溃到反超

一、引言Qwen3.8-27B 在昆仑芯 P800（8×96G）上的 Dense 推理基线稳定在单流 52-57 tok/s。团队的目标是在不更换硬件的前提下，通过 MTP 投机解码同时改善单流延迟与并发吞吐，开启方式只有一行参数。服务拉…

国产 XPU

藏在采样器里的 CPU fallback 引发的 72 倍吞吐暴跌

一、引言一次常规的 256 并发回归压测中，Qwen3.8-27B 在昆仑芯 P800 上的 decode 吞吐停滞在 32 tok/s 量级。同配置权威口径 short 512/512×256 应为 3201.71 output tok…

国产 XPU

闭源算子库迎来了一次 ABI 小手术

一次常规的 kunlun_ops 版本升级，在 import 阶段就停住了。报错只有一行：ImportError: libapiinfer.so: undefined symbol: _ZN9xbfloat16C1Ef这行错误指向第一个"…

国产 XPU

GDN 调优尽头与线性注意力在国产 XPU 上的性能上限

一、引言在 Qwen3.8-27B 的 decode 链路上，GDN（Gated DeltaNet）占到了 89% 的时间。这个数字意味着，无论推理框架、调度策略和量化方案如何调整，只要 GDN 自身的耗时不变，整体吞吐就始终被压在同一个…

  1. 1
  2. 2
  3. 3
  4. 4