OpenAI는 Jalapeño가 용도에 맞게 제작된 추론 ASIC이며, 용도를 변경한 학습용 가속기나 범용 AI 프로세서가 아님을 강조합니다. OpenAI는 Jalapeño의 아키텍처가 LLM 동작에 대한 이해를 바탕으로 설계되었으며, 비용이 많이 드는 데이터 이동, 컴퓨팅과 메모리 자원 간의 균형, 네트워킹 효율성 및 전반적인 동작을 포함하여 대규모 추론에서 중요한 실질적인 병목 현상을 해결하기 위한 것이라고 말합니다. 또한 OpenAI는 프로세서 설계가 높은 처리량과 낮은 지연 시간을 결합하도록 의도되었다고 명시하며(이것이 많은 다른 추론 가속기와 달리 거대한 컴퓨팅 칩렛과 HBM 메모리를 사용하는 이유입니다), 이는 추론 및 에이전트형 워크로드에 특히 유용할 것입니다.
또한 OpenAI와 Broadcom은 이 프로세서가 기존 AI 가속기보다 높은 유효 활용도를 제공하고 이론적 최대치에 가까운 성능을 제공하도록 제작되었다고 주장하며, 이는 비용과 전력 측면 모두에서 매우 높은 효율성을 의미합니다. 한편, 양사는 Jalapeño ASIC에 대한 성능 목표를 공개하지 않았으므로, 이러한 주장은 어느 정도 비판적으로 받아들여야 합니다.
엔지니어링 샘플은 이미 실험실에서 목표 클록 속도와 전력으로 작동하고 있으며(Broadcom과 OpenAI 모두 이에 대한 세부 정보를 공개하지 않았지만), OpenAI는 GPT-5.3-Codex-Spark과 같은 머신러닝 워크로드를 실행 중이라고 말합니다.
양사는 또한 초기 내부 테스트 결과 Jalapeño의 전력 대비 성능이 '현재의 최첨단 하드웨어'보다 실질적으로 더 좋다는 것을 나타낸다고 주장합니다. 그러나 구체적인 수치, 벤치마크, 메모리 구성 또는 기타 세부 사항이 공개되지 않았으므로, 다시 한번 이러한 주장은 비판적으로 받아들여야 합니다. 또한 Jalapeño가 기존 AMD Instinct MI350 시리즈 및 Nvidia Blackwell 기반 가속기를 능가할 수 있다고 알려져 있지만, AMD Instinct MI400 시리즈 및 Nvidia Rubin 기반 제품들과 비교했을 때 얼마나 경쟁력이 있을지는 지켜봐야 합니다.
OpenAI의 하드웨어 프로그램을 이끄는 Richard Ho는 "Jalapeño는 OpenAI 연구진과의 긴밀한 협력을 통해 얻은 상세한 통찰력을 바탕으로 LLM 추론을 위해 처음부터 설계되었습니다"라고 말했습니다. "우리는 프런티어 AI 모델에 가장 중요한 커널, 메모리 이동, 네트워킹 및 서빙 패턴을 중심으로 아키텍처를 최적화했습니다. 초기 테스트를 바탕으로 Jalapeño는 하드웨어의 이론적 한계에 근접하게 가장 중요한 워크로드를 효율적으로 실행할 것입니다."
|