Step 5 Preview 首发支持 vLLM、SGLang、Transformers 及多家推理平台
StepFun 的 Step 5 Preview 可通过 vLLM 或 SGLang 提供 OpenAI 兼容 API,用 Transformers 做离线推理,并适配多种芯片平台与推理框架,同时获得 NVIDIA 及多家推理平台的 Day-0 支持。
内容详情 · 原文链接
via AI情报局 | 全球 AI 动态简报 - Telegram Channel
StepFun 的 Step 5 Preview 可通过 vLLM 或 SGLang 提供 OpenAI 兼容 API,用 Transformers 做离线推理,并适配多种芯片平台与推理框架,同时获得 NVIDIA 及多家推理平台的 Day-0 支持。
内容详情 · 原文链接
via AI情报局 | 全球 AI 动态简报 - Telegram Channel