AI 칩 스타트업의 반란: 엔비디아 독주를 흔드는 신흥 세력들
200억 달러짜리 인수가 보내는 신호
2026년 1월, 엔비디아가 AI 추론 칩 스타트업 Groq를 200억 달러(약 29조 원)에 인수했다. GPU 시장의 절대 강자가 스타트업 하나에 이 정도 금액을 지불했다는 사실은 업계에 강력한 메시지를 던졌다. AI 칩 시장에서 엔비디아의 독주가 영원하지 않을 수 있다는 것이다.
실제로 이 인수 이후 AI 칩 스타트업 생태계가 들썩이고 있다. 토론토의 Taalas가 1억 6,900만 달러를 유치했고, 실리콘밸리의 Ricursive Intelligence는 창업 4개월 만에 40억 달러 기업가치를 인정받았다. 소프트뱅크는 6억 달러에 Graphcore를 삼켰고, 인텔은 SambaNova 인수를 추진 중이다.
무슨 일이 벌어지고 있는 것일까? 엔비디아가 AI 컴퓨팅의 90% 이상을 장악한 시대에, 왜 투자자들은 수십억 달러를 AI 칩 스타트업에 쏟아붓고 있을까?
1. AI 추론 시대의 도래
AI 칩 시장의 판도 변화를 이해하려면 먼저 ’훈련(Training)’과 ’추론(Inference)’의 차이를 알아야 한다. AI 모델을 학습시키는 훈련 단계에서는 엔비디아의 GPU가 압도적이다. 하지만 학습된 모델을 실제로 사용하는 추론 단계는 전혀 다른 게임이다.
McKinsey의 2025년 보고서에 따르면, AI 추론 워크로드는 전체 AI 컴퓨팅의 60~70%를 차지하며 이 비중은 빠르게 증가 중이다. ChatGPT에 질문하고, AI 에이전트가 코드를 짜고, 자율주행차가 도로를 인식하는 모든 과정이 추론이다. 문제는 범용 GPU가 이 작업에 최적이 아니라는 점이다.
여기서 기회가 생긴다. 추론에 특화된 칩을 만들면, 같은 작업을 10배 빠르게, 전력은 10분의 1로 줄일 수 있다. 바로 이 틈새를 파고드는 스타트업들이 등장하고 있다.
2. Taalas: AI 모델을 실리콘에 새기다
2026년 2월 19일, 토론토 기반 스타트업 Taalas가 1억 6,900만 달러를 유치하며 스텔스 모드에서 벗어났다. 총 누적 투자액은 2억 1,900만 달러. Quiet Capital, Fidelity, 반도체 업계 전설적 투자자 Pierre Lamond 등이 참여했다.
Taalas의 접근법은 파격적이다. 일반적인 AI 칩이 소프트웨어로 모델을 실행하는 반면, Taalas는 AI 모델의 가중치(weight)를 트랜지스터에 직접 새긴다. 하드코딩된 추론(Hard Coded Inference)이라 부르는 이 방식은 메모리와 연산 사이의 병목을 완전히 제거한다.
결과는 놀랍다. Taalas의 첫 번째 칩 HC1은 TSMC 6nm 공정으로 제조됐으며, 엔비디아 H200 대비 73배 빠른 추론 속도를 10분의 1 전력으로 달성한다고 주장한다. 이미 챗봇 데모와 추론 API로 실제 작동을 증명했다.
창업자 류비사 바지치(Ljubisa Bajic)는 AMD에서 하이브리드 CPU-GPU 칩을 설계하고, 이후 AI 칩 스타트업 Tenstorrent를 창업한 인물이다. CTO 드라고 이그냐토비치(Drago Ignjatovic) 역시 AMD와 Tenstorrent 출신. 팀 25명 대부분이 AMD, 애플, 구글, 엔비디아 경력자로, R&D에 3,000만 달러만 쓰고 1억 7,000만 달러 이상의 현금을 보유하고 있다.
3. Ricursive Intelligence: AI가 AI 칩을 설계한다
Taalas가 “더 나은 칩을 만든다”면, Ricursive Intelligence는 한 단계 더 나아가 “AI로 칩 설계 자체를 혁신한다”는 접근을 취한다.
공동 창업자 안나 골디(Anna Goldie)와 아잘리아 미르호세이니(Azalia Mirhoseini)는 구글 브레인에서 ’AlphaChip’을 개발한 인물들이다. AlphaChip은 인간 설계자가 1년 이상 걸리는 칩 레이아웃 작업을 6시간 만에 완성하는 AI 도구로, 구글 TPU 3세대에 걸쳐 실제 사용됐다.
두 사람의 경력은 거의 쌍둥이 수준이다. “구글 브레인 같은 날 입사, 같은 날 퇴사, Anthropic 같은 날 합류, 같은 날 퇴사, 구글 재합류도 같은 날, 퇴사도 같은 날. 그리고 같은 날 이 회사를 창업했다”고 골디는 말한다.
Ricursive는 칩 자체를 만드는 게 아니라, 칩을 설계하는 AI 플랫폼을 구축한다. 따라서 엔비디아, AMD, 인텔 모두가 고객이 될 수 있다. 실제로 엔비디아가 투자자로 참여했다. DST Global, Sequoia Capital, Felicis 등이 시드(3,500만 달러)와 시리즈 A(3억 달러)에 참여했고, 기업가치는 창업 2개월 만에 40억 달러를 찍었다.
4. 인수 전쟁: 빅테크가 삼키는 스타트업들
AI 칩 스타트업 생태계에서 주목할 또 다른 흐름은 대형 인수 합병이다.
- Groq → 엔비디아 (200억 달러, 2026년 1월): 엔비디아가 추론 특화 칩 기술의 IP를 라이선스하기 위해 전격 인수. 추론 시장의 중요성을 엔비디아 스스로 인정한 셈이다.
- Graphcore → 소프트뱅크 (6억 달러, 2024년): 영국 AI 칩 스타트업을 소프트뱅크가 인수. ARM과의 시너지를 노린 전략적 행보.
- SambaNova ← 인텔 (16억 달러 추정, 협상 중): Bloomberg에 따르면 인텔이 SambaNova 인수를 추진 중. 자체 AI 칩 라인업 강화 목적.
이 인수 물결은 역설적으로 AI 칩 스타트업의 가치를 입증한다. 빅테크가 자체 개발보다 수십억 달러를 들여 스타트업을 사들이는 것은, 이 기업들이 축적한 기술이 그만큼 가치 있다는 의미다.
5. 시장 구조의 변화: PE에서 VC로, 집중에서 분산으로
Crunchbase의 최신 분석에 따르면, AI 붐은 벤처 투자의 구조 자체를 바꾸고 있다. 2021년 팬데믹 호황기에는 Tiger Global, SoftBank Vision Fund 같은 PE(사모펀드)가 대형 라운드를 주도했다. 상위 5개 투자자가 모두 PE였다.
하지만 2025년에는 전통적 VC가 다시 주도권을 잡았다. 5,000만 달러 이상 라운드에서 상위 10개 리드 투자자 중 8개가 VC 펌이다. General Catalyst(30건), a16z(24건), Lightspeed(22건), Accel(22건) 순이다. Khosla Ventures, NEA, GV, Menlo Ventures 등은 대형 라운드 리드 건수가 2021년 대비 100% 이상 증가했다.
AI 칩 분야도 이 트렌드를 따른다. Ricursive의 시리즈 A를 Lightspeed가, Taalas를 Quiet Capital과 Fidelity가 리드했다. 기술을 깊이 이해하는 VC들이 다시 돌아온 것이다.
6. 한국 시장에 주는 시사점
한국은 삼성전자, SK하이닉스라는 세계적 반도체 기업을 보유하고 있지만, AI 칩 스타트업 생태계는 거의 전무하다. 정부 주도의 대규모 반도체 투자는 활발하지만, Taalas나 Ricursive 같은 혁신적 접근의 스타트업은 찾기 어렵다.
몇 가지 시사점이 있다. 첫째, 한국 반도체 인력이 AI 칩 스타트업에 도전할 기회가 열려 있다. Taalas 창업팀이 AMD 출신이듯, 삼성·SK 출신 엔지니어들도 충분한 역량을 가지고 있다. 둘째, AI 추론 시장의 성장은 HBM(고대역폭 메모리)에 집중된 한국 반도체 전략에도 영향을 줄 수 있다. Taalas처럼 HBM을 아예 없애는 아키텍처가 등장하면 시장 판도가 달라질 수 있다. 셋째, 한국 VC들도 딥테크 반도체 스타트업에 대한 투자 역량을 키울 필요가 있다.
AI 칩 스타트업이 엔비디아를 “대체”할 가능성은 낮다. 엔비디아의 CUDA 소프트웨어 생태계는 20년에 걸쳐 구축된 해자(moat)이며, 훈련 시장에서의 지배력은 당분간 흔들리지 않을 것이다.
그러나 추론 시장은 다른 이야기다. 추론은 모델이 완성된 후의 단계이므로, 특정 모델에 최적화된 칩이 범용 GPU를 이길 수 있다. Taalas의 “모델을 실리콘에 새긴다”는 발상은 극단적이지만, 추론 비용이 AI 기업의 가장 큰 고정비인 현실에서 충분히 합리적이다.
내가 더 주목하는 건 Ricursive Intelligence의 방향이다. AI가 AI 칩을 설계한다는 것은 일종의 가속 루프(acceleration loop)다. 더 좋은 AI가 더 좋은 칩을 설계하고, 더 좋은 칩이 더 좋은 AI를 만드는 선순환. 이것이 현실화된다면, 칩 설계의 민주화가 일어날 수 있다. 대기업만 할 수 있던 칩 설계를 스타트업도 할 수 있게 되는 것이다.
다만 경고도 필요하다. 창업 2개월 만에 40억 달러 기업가치는 2021년 버블을 떠올리게 한다. Ricursive가 실제 제품을 출시하기 전이라는 점, 그리고 이 분야의 많은 스타트업이 결국 빅테크에 인수되는 패턴(Groq, Graphcore)을 보면, 독자적 생존보다는 “기술 개발 후 인수”가 현실적 출구 전략일 수 있다.
반도체의 새로운 창업 시대
AI 칩 스타트업의 부상은 단순한 트렌드가 아니다. AI 추론 비용이 산업 전체의 병목이 된 시점에서, 이를 해결하는 기술은 수십조 원의 가치를 가진다. 엔비디아가 Groq에 200억 달러를 지불한 것이 그 증거다.
창업자들에게 이것은 기회의 신호다. AI 시대의 가장 큰 비즈니스 기회가 AI 모델이 아니라, AI를 돌리는 하드웨어에 있을 수 있다. “곡괭이를 파는 사람이 금을 캔다”는 격언이, 다시 한번 증명되고 있다.
이 기사는 Starckist의 창업 카테고리 콘텐츠입니다.