标签「线性注意力」

国产 XPU

国产昆仑芯 P800 部署线性注意力大模型的 28 个问题

一、引言在国产 XPU 上部署大模型,常被问一句"能不能跑"。这次项目的回答是:能跑,但从"能跑"到"跑好",隔着 28 个问题,分属 6 类。本文先画地图:问题长什么样、分布在哪里、哪里最容易翻车。二、部署背景单机 8×96G 昆仑芯 …

国产 XPU

GDN 调优尽头与线性注意力在国产 XPU 上的性能上限

一、引言在 Qwen3.8-27B 的 decode 链路上,GDN(Gated DeltaNet)占到了 89% 的时间。这个数字意味着,无论推理框架、调度策略和量化方案如何调整,只要 GDN 自身的耗时不变,整体吞吐就始终被压在同一个…