오픈AI가 엔비디아(Nvidia)의 최신 AI 칩 일부에 대해 불만을 품고 대체 솔루션을 적극적으로 찾고 있는 것으로 확인됐다. 추론(inference) 과정에서의 속도와 효율성이 기대에 미치지 못한다는 지적이다.

로이터통신이 8명의 내부 소식통을 인용해 2일(현지시간) 보도한 바에 따르면, 오픈AI는 지난해 말부터 엔비디아 GPU의 추론 성능에 불만을 표출해왔다. 특히 ChatGPT 사용자 질문에 대한 응답 속도, 소프트웨어 개발 지원 기능, AI와 다른 소프트웨어 간 상호작용 등 특정 작업에서 엔비디아 하드웨어의 처리 속도가 경쟁사 대비 떨어진다는 평가다.

7명의 소식통은 “오픈AI가 엔비디아 칩의 추론 속도를 높게 평가하지 않는다”고 전했으며, 나머지 1명은 “새 하드웨어 도입이 시급하며, 단기 목표는 전체 컴퓨팅 수요의 약 10%를 대체하는 것”이라고 밝혔다.

◇ SRAM 중심 칩으로 눈 돌려… Cerebras와 상업 계약 체결

오픈AI는 GPU 중심의 기존 아키텍처 대신 칩 내에 대용량 SRAM(고속 정적 램)을 탑재한 솔루션을 주로 검토했다. SRAM은 DRAM과 달리 전원이 공급되는 동안 데이터를 안정적으로 유지하며 접근 속도가 빠르고 지연(latency)이 낮아 수백만 사용자 동시 요청 처리에 유리하다.

추론 작업은 모델 훈련보다 메모리 접근 시간이 계산 시간보다 길어지기 때문에 온칩 메모리 용량이 핵심 경쟁력으로 부상했다. 엔비디아와 AMD GPU는 대부분 외부 메모리(HBM 등)를 사용해 이 과정에서 병목현상이 발생한다는 지적이다.

오픈AI는 지난해 Cerebras와 Groq 등 추론 특화 스타트업과 접촉했다. Cerebras는 오픈AI의 제안을 거절하고 지난달 750MW 규모의 초저지연 AI 컴퓨트 공급 상업 계약을 체결했다. Groq와는 약 140억 달러 규모 협상이 진행됐으나, 엔비디아가 Groq의 기술·인재를 200억 달러에 라이선싱·인수 형태로 확보하면서 무산됐다.

전문가들은 엔비디아의 Groq 딜을 “AI 다음 단계가 GPU 독점으로 결정되지 않을 것이라는 인정”으로 해석했다. RBC 캐피털마켓은 “추론 능력이 AI 컴퓨팅의 중심 과제로 부상하며 훈련 전용 시장을 넘어설 가능성이 크다”고 분석했다.

◇ 오픈AI의 Codex 약점도 엔비디아 탓?

문제는 오픈AI가 적극 홍보 중인 Codex(자동 코딩 AI)에서도 두드러진다. 소식통들은 Codex의 일부 성능 저하가 엔비디아 하드웨어에 기인한다고 지적했다. 반면 경쟁사 Anthropic(Claude)와 Google(Gemini)은 자체 칩(Google TPU 등)을 활용해 추론 성능을 최적화하고 있다.

◇ 엔비디아-오픈AI 1000억 달러 투자 딜도 흔들

이 같은 불만 표출은 양사 관계에 긴장감을 더하고 있다. 엔비디아는 지난해 9월 오픈AI에 최대 1000억 달러 투자와 10GW 규모 컴퓨팅 인프라 구축을 발표했으나, 최근 월스트리트저널(WSJ) 보도에 따르면 일부 엔비디아 내부에서 딜에 회의적 의견이 제기되며 지연됐다.

젠슨 황 CEO는 최근 타이베이에서 “샘 올트먼과 협력하는 걸 정말 좋아한다”며 “오픈AI에 거액 투자를 할 것”이라고 부인했으나, “1000억 달러는 약속이 아닌 초대 수준이었고, 단계별로 진행할 것”이라고 선을 그었다. 그는 오픈AI의 “사업적 규율 부족”과 구글·Anthropic 경쟁 우려를 사적으로 언급한 것으로 전해졌다.

오픈AI는 현재 8300억 달러 기업가치로 1000억 달러 펀딩 라운드를 추진 중이며, 아마존(최대 500억 달러) 등 다른 거대 기업과도 협상 중이다. 엔비디아는 여전히 주요 파트너로 남아 있지만, 추론 칩 시장 경쟁 심화로 양측 관계가 새로운 국면에 접어들었다는 평가가 나온다.

오픈AI 측은 “엔비디아가 여전히 대부분의 추론 인프라를 담당하며 장기 파트너”라는 입장을 유지하고 있으나, 업계는 다중 벤더 전략으로의 전환이 가속화될 것으로 보고 있다.

@GMVN