IT之家8月25日消息，OpenAI今天（25日）晚间在HotChips大会上公布了全新推理系统Jalapeño的更多细节，并首次披露基准测试成绩。在SemiAnalysis的InferenceX测试中，Jalapeño无论是单用户token处理量，还是每千瓦吞吐量，都超过了目前市面上的顶尖推理处理器。

OpenAI硬件负责人理查德·何在媒体电话会上表示：“测试结果最重要的一点，是Jalapeño相比目前最先进的产品实现了非常显著的性能提升。它可以用相同的电力处理更多AI工作负载，同时更快给出响应。Jalapeño既适合高效服务大量用户，也能保持很低的延迟。”

Jalapeño由OpenAI与博通共同开发，OpenAI自有模型也参与了研发。OpenAI希望把Jalapeño发展成一个能够延续多代的技术平台，使AI产品、模型、芯片和内存从一开始就协同设计。

这款芯片主要负责AI推理，也就是让已经训练好的AI模型真正运行起来，完成任务或驱动AI智能体。

OpenAI使用InferenceX平台测试Jalapeño的推理性能，并与英伟达GB200和GB300超级芯片系统进行比较。OpenAI称，在GPT-OSS120B、DeepSeekR1和KimiK2.51T三个模型上，Jalapeño每瓦能够完成的AI工作量是对比系统的1.5至1.9倍，端到端延迟则约为对比系统的28%至59%。

全栈协同开发也让OpenAI能够直接优化推理过程中最容易拖慢速度的环节。Jalapeño重点降低预填充和通信阶段的延迟，而这两个环节在OpenAI看来往往是推理性能的主要瓶颈。

OpenAI在公布测试结果的博客文章中提到，Jalapeño从设计之初就尽量减少数据搬运和通信延迟。生成响应时使用的KV缓存等模型状态可以明确存放并保留在本地，系统再根据不同推理阶段，调配合适的计算、内存和网络资源。

据IT之家了解，OpenAI计划在今年年底前先“小规模”部署Jalapeño，2027年再逐步扩大部署量，但没有公布明年具体会投入多少芯片。

参考