AI 도입이 멈추는 이유: 88%가 사용하지만 ROI는 어디에
익숙한 좌절감, 그러나 새로운 문제
“우리 회사도 AI 쓰고 있어요.”
이제 이 말은 자랑이 아니다. McKinsey의 2025년 조사에 따르면, 전 세계 기업의 88%가 AI를 정기적으로 사용한다고 보고한다. AI는 더 이상 혁신의 상징이 아니라 기본 인프라가 되어가고 있다. 그러나 많은 경영자들이 공유하는 익숙한 좌절감이 있다.
AI 도입은 시작했지만 정체된다. 초기에 보인 생산성 향상이 어느 순간 한계에 부딪힌다. 직원들은 새로운 AI 도구를 실험하지만, 그것이 일하는 방식을 근본적으로 바꾸지는 않는다. AI에 투자한 만큼의 ROI(투자수익률)가 나오지 않는다. 경영진의 우려가 커진다.
Harvard Business Review에 2026년 2월 기고된 Keith Ferrazzi 팀의 분석은 이 현상의 본질을 파헤친다. 저자들은 Ferrazzi Greenlight의 광범위한 산업 데이터를 바탕으로, AI 도입이 왜 정체되는지, 그리고 이 정체를 어떻게 돌파할 수 있는지 제시한다.
핵심 메시지는 명확하다: 문제는 AI가 아니라 조직의 적응 방식에 있다.
이 기사에서는 HBR 논문의 분석을 중심으로 AI 도입 정체의 원인을 진단하고, 경영자들이 취할 수 있는 구체적인 돌파 전략을 탐구한다.
1: AI 도입의 역설 — 사용률은 높지만 성과는 정체
88%라는 숫자의 이면
숫자들이 보여주는 역설은 분명하다.
McKinsey의 2025년 글로벌 AI 서베이에 따르면, 기업의 88%가 AI를 정기적으로 사용한다고 응답했다. 이 수치는 2023년의 55%에서 급격히 상승한 것이다. AI 도입은 더 이상 소수 선도 기업의 전유물이 아니다.
프로덕션에 도달하는 AI는 30%
그러나 다른 지표들은 다른 이야기를 한다. Gartner의 분석에 따르면, AI 프로젝트 중 실제 프로덕션 환경에 도달하는 비율은 약 30%에 불과하다. 나머지 70%는 파일럿 단계에서 멈추거나, 도입 후 확산에 실패하거나, 아예 폐기된다. AI 투자 대비 기대 ROI를 달성하는 기업은 절반에도 미치지 못한다.
실험과 통합의 간극
HBR 저자들은 이 간극을 “실험(Experimentation)”과 “통합(Integration)”의 간극이라고 진단한다. 대부분의 기업이 AI를 “사용”하지만, AI가 “일하는 방식을 바꾸는” 단계에는 이르지 못했다.
ChatGPT로 이메일 초안을 쓰는 것과 AI가 의사결정 프로세스의 핵심 축이 되는 것은 완전히 다른 차원의 문제다.
2: 왜 도입이 정체되는가 — 세 가지 구조적 장벽
표면적 채택의 함정
HBR 분석이 식별한 AI 도입 정체의 첫 번째 핵심 장벽은 표면적 채택(Surface Adoption)의 함정이다.
직원들이 AI를 “가끔” 쓰는 것과 “일상적으로” 쓰는 것은 근본적으로 다르다. 많은 기업에서 AI는 기존 업무 위에 “추가”된 도구일 뿐, 업무의 핵심이 되지 못한다. ChatGPT로 보고서 초안을 쓰더라도, 의사결정 프로세스, 승인 체계, 협업 방식은 예전 그대로다.
AI가 워크플로우 밖에 존재하는 한, 그 가치는 제한적일 수밖에 없다.
변화 관리의 부재
두 번째 장벽은 변화 관리의 부재(Missing Change Management)다.
AI 도입을 기술 프로젝트로만 접근하는 기업이 많다. IT 부서가 AI 도구를 도입하고, 사용법 교육을 하고, 사용 현황을 모니터링한다. 그러나 AI 도입은 본질적으로 조직 변화 프로젝트다. 프로세스 재설계, 역할 재정의, 성과 지표 변경이 수반되어야 한다.
기술팀이 주도하고 HR과 운영팀이 소외되면, AI는 고립된 도구로 남는다.
중간 관리자의 병목
세 번째 장벽은 중간 관리자의 병목(Middle Management Bottleneck)이다. 이것이 가장 미묘하면서도 강력한 장벽이다.
경영진은 AI 전환을 추진한다. 일선 직원들은 AI 도구를 실험한다. 그러나 중간에 낀 관리자들은 불안하다. “AI가 내 역할을 대체하는 것 아닌가?” 이 불안은 명시적으로 표현되지 않지만, 소극적 저항의 형태로 나타난다.
중간 관리자들이 AI 도입에 적극적으로 참여하지 않거나, 부하 직원들의 AI 활용을 장려하지 않으면, AI는 조직 깊이 침투하지 못한다.
3: 성과 정체의 전형적 패턴
0-6개월: 낙관의 시기
HBR 저자들은 AI 도입 기업들에서 반복적으로 관찰되는 정체 패턴을 제시한다.
도입 초기, 대략 0개월에서 6개월 사이에는 낙관이 지배한다. 파일럿 프로젝트가 성공하고, 특정 팀에서 생산성 향상이 보고된다. 경영진은 “AI가 드디어 우리 회사에도 작동한다”고 기뻐한다. 이 단계에서 대부분의 기업이 “확산(Scale-up)”을 선언한다.
6-18개월: 현실 직면
그러나 중기, 6개월에서 18개월 사이에 현실이 드러난다. 파일럿에서 성공했던 것이 다른 팀이나 부서에서 재현되지 않는다. 저항이 나타나고, 예상했던 ROI가 실현되지 않는다. “AI 프로젝트 피로(AI Project Fatigue)”가 조직에 스며든다. 초기의 열정이 회의로 바뀌기 시작한다.
18개월 이후: 교착 상태
정체기, 18개월 이후에는 교착 상태가 고착화된다. 파일럿은 성공했지만 전사 확산은 실패했다. AI 도구 사용률이 정체하거나 오히려 감소한다. “그냥 원래대로 하자”는 회귀 압력이 강해진다. 경영진은 AI 투자에 대한 의문을 품기 시작하고, 다음 투자에 소극적이 된다.
이 패턴의 핵심은 기술 문제가 아니라 조직 역량(Organizational Capability) 문제라는 점이다. AI 자체는 잘 작동한다. 작동하지 않는 것은 AI를 조직에 내재화하는 과정이다.
4: 정체를 돌파하는 네 가지 전략
통합 설계 (Design for Integration)
HBR과 Ferrazzi Greenlight 연구팀은 AI 도입 정체를 돌파하기 위한 구체적인 전략을 제시한다.
첫째, 통합 설계(Design for Integration)다. AI를 별도 도구가 아닌 기존 워크플로우의 필수적 일부로 설계해야 한다. “AI를 쓰면 좋다”가 아니라 “AI 없이는 일을 못 한다” 수준으로 통합해야 한다.
예를 들어, 특정 승인 프로세스에서 AI 분석 결과 없이는 다음 단계로 진행할 수 없도록 프로세스를 강제하는 것이다. 선택적 도구가 아니라 필수적 인프라로 포지셔닝해야 진정한 채택이 이루어진다.
중간 관리자 재정의 (Redefine Middle Management)
둘째, 중간 관리자 재정의(Redefine Middle Management)다. 중간 관리자들의 불안을 정면으로 다루어야 한다.
AI가 대체하는 것과 인간이 집중해야 할 것을 명확히 구분해야 한다. AI는 반복적 감독, 정보 집계, 루틴 보고 같은 업무를 맡는다. 인간 관리자는 코칭, 예외 판단, 관계 구축, 창의적 문제 해결에 집중한다.
중간 관리자를 “AI 오케스트레이터(AI Orchestrator)”로 재포지셔닝하면, 저항이 참여로 바뀔 수 있다.
급진적 재설계 (Radical Redesign)
셋째, 급진적 재설계(Radical Redesign)다. 기존 프로세스에 AI를 추가하는 접근은 한계가 있다.
AI를 전제로 프로세스를 처음부터 재설계하는 것이 더 효과적이다. “AI 네이티브” 워크플로우를 구축해야 한다. 이것은 더 많은 초기 투자와 변화 관리 노력을 요구하지만, 장기적으로 더 깊은 가치를 창출한다.
측정 지표 재정의 (Redefine Metrics)
넷째, 측정 지표 재정의(Redefine Metrics)다. 기존의 AI 도입률, 자동화 비율 같은 지표는 표면적 채택만을 측정한다.
새로운 지표는 의사결정 중 AI 참여율, 자동화로 절감된 고가치 시간, AI 기반 비즈니스 성과 같은 것이어야 한다. 측정하는 것이 행동을 규정한다. 올바른 지표를 측정해야 올바른 행동이 유도된다.
5: 리더가 스스로에게 던져야 할 질문
실험 vs 통합
AI 도입 정체에 직면한 경영자가 스스로에게 물어야 할 질문들이 있다.
우리의 AI 사용은 “실험”인가 “통합”인가? 직원들이 AI를 가끔 쓰는 것과 AI 없이는 일을 못 하는 것은 다르다. 현재 우리 조직은 어디에 있는가?
중간 관리자의 역할
중간 관리자들은 AI를 기회로 보는가, 위협으로 보는가? 그들의 저항이나 소극성이 AI 확산의 병목이 되고 있지 않은가?
조직 전체의 관여
AI 도입을 기술팀만 주도하고 있지 않은가? HR, 운영, 전략 부서가 충분히 관여하고 있는가?
프로세스 재설계
프로세스를 재설계했는가, 아니면 도구만 추가했는가? 기존 워크플로우 위에 AI를 얹은 것과 AI 중심으로 워크플로우를 새로 만든 것은 다르다.
현실적 기대치
ROI 기대치가 현실적인가? AI가 마법이 아니라는 것을 조직 전체가 이해하고 있는가?
한국 기업에 주는 시사점
더 많은 AI가 아닌 더 깊은 AI
88%의 기업이 AI를 “사용”한다. 그러나 AI가 실제로 “작동”하는 기업은 훨씬 적다.
HBR의 핵심 메시지는 이것이다:
“직원들은 새 도구를 실험하지만, 일이 실제로 이루어지는 방식에 깊이 통합하지 않는다. 이것이 경영진의 ROI 우려를 키우고 있다.”
2026년, AI 도입의 다음 단계는 “더 많은 AI”가 아니다. “더 깊은 AI”—조직의 핵심 작동 방식에 AI를 내재화하는 것이다.
한국 기업을 위한 세 가지 제언
- 중간 관리자를 적으로 만들지 마라: 한국 기업에서 중간 관리자의 영향력은 특히 크다. 그들을 AI 도입의 저항 세력이 아닌 챔피언으로 전환하라. 그들의 역할을 재정의하고, AI가 그들의 업무를 어떻게 확장하는지(대체가 아닌) 보여주라.
- 파일럿 성공에 취하지 마라: 많은 한국 기업이 파일럿 단계에서 성공을 선언하고 전사 확산을 시도한다. 그러나 파일럿과 확산 사이에는 거대한 간극이 있다. 파일럿 성공은 시작일 뿐, 확산을 위한 별도의 전략이 필요하다.
- AI 도입을 변화 관리 프로젝트로 접근하라: AI 도입을 IT 프로젝트로만 보면 실패한다. 프로세스 재설계, 역할 재정의, 문화 변화가 수반되어야 한다. 기술이 아닌 조직이 변해야 한다.
CEO의 아젠다
이것은 기술 과제가 아니라 경영 과제다. CTO가 아니라 CEO가 리드해야 할 아젠다다.
AI 도입이 정체되는 진짜 이유는 AI가 아니다. 조직이 AI와 함께 진화하지 못하기 때문이다. 기술은 준비되어 있다. 문제는 우리 자신이다.
Ferrazzi의 분석을 읽으면서 나는 많은 한국 기업에서 목격했던 패턴을 떠올렸다.
“AI 도입했는데 왜 안 되죠?”
이 질문은 거의 모든 기업에서 들린다. 그리고 대부분의 경우, 답은 같다. AI를 도입한 것이지, AI와 함께 일하는 방식을 바꾼 것이 아니기 때문이다.
한국 기업에서 특히 주목해야 할 것은 중간 관리자의 역할이다. 한국의 조직 문화에서 중간 관리자는 단순한 관리자가 아니다. 그들은 정보의 게이트키퍼이고, 의사결정의 실질적 중개자이며, 조직 문화의 담지자다. 경영진의 지시가 일선까지 전달되는 과정에서 중간 관리자가 적극적으로 참여하지 않으면, 그 어떤 변화도 피상적으로 끝난다.
AI 도입도 마찬가지다. 경영진이 “AI 전환”을 외치고, 일선 직원들이 ChatGPT를 써보지만, 중간 관리자들이 기존 방식을 고수하면 조직 전체의 변화는 일어나지 않는다. 그들의 불안—“AI가 내 일을 대체하면?”—을 정면으로 다루지 않으면, 변화는 표면에 머문다.
HBR 논문의 “AI 오케스트레이터” 개념이 여기서 중요하다. 중간 관리자를 AI의 피해자로 만들 것인가, AI 활용의 지휘자로 만들 것인가? 이 선택이 AI 도입의 성패를 가른다.
또 하나 생각할 것은 측정의 문제다. 한국 기업은 측정을 좋아한다. KPI, OKR, 성과 지표… 그러나 AI 도입에서 잘못된 것을 측정하면, 잘못된 행동이 유도된다. “AI 도구 로그인 횟수”나 “자동화된 업무 수”를 측정하면, 표면적 채택만 늘어난다. “AI가 기여한 의사결정의 질”이나 “AI로 절감된 고가치 시간”을 측정해야 진짜 통합이 이루어진다.
마지막으로, Ferrazzi의 경고를 기억하자:
“문제는 AI가 아니라 조직의 적응 방식에 있다.”
AI 기술은 충분히 좋다. 문제는 그 기술을 품을 수 있는 조직의 역량이다. 기술 투자보다 조직 변화에 투자하라. AI를 도입하지 말고, AI와 함께 진화하라.
본 기사는 Starckist에서 해외 창업/경영 학술 자료를 바탕으로 작성되었습니다.