我是一名 Go / Kubernetes 工程师(7 年),在一个跨国产异构加速卡——昇腾、寒武纪、海光、沐曦、昆仑芯——并与 NVIDIA 并存的平台上,从事 LLM 推理控制面与调度编排工作。
绝大多数公开的 LLM 推理跑分只覆盖 NVIDIA。我恰好能真机接触到一整机架的国产加速卡,所以我发布几乎没人能给的 head-to-head 数据——同一模型、同一负载、同一套测量方法——以及背后的路由、KV-Cache 与成本权衡。
我的铁律: 每一个数字都附上可复现的确切命令。复现不出来的,我就不发。
- GitHub: Wangmin362