新GPU机架搭载DeepSeek推理方案，24小时处理6.77万亿token

新GPU机架首次测试运行DeepSeek推理方案，24小时内处理6.77万亿token，p50首字延迟1.16秒、p50吞吐143 token/s，但一块故障托盘拖累了p95指标。

内容详情 · 原文链接

via AI情报局 | 全球 AI 动态简报 - Telegram Channel