종량제 사용 토큰 ‘폭탄’
“사용량 예측도 어려워”
1년치 AI 예산 금방 바닥
딥시크 등 중국모델 인기
미국 등 전 세계 기업들이 앞다퉈 코딩 등 실무에 인공지능(AI) 도구를 쓰면서 눈덩이로 불어나는 AI 비용이 AI 전환의 핵심 난관으로 부상했다.
로이터 통신은 지난달 29일 “생산성을 높인다는 이유로 AI 도구를 많이 쓸 것을 권장하던 기업들이 막대한 비용 청구서를 접하면서 내부 고민 끝에 중국산 AI 등 값싼 모델을 찾고 있다”며 이처럼 보도했다.
로이터에 따르면 기업용 AI 에이전트(업무 도우미)는 대부분 ‘AI 토큰’이란 사용량 단위에 비례해 요금이 올라가는 종량제 구조를 채택하고 있다.
많은 기업은 AI 전환이 본격화하자 생산성 경쟁 때문에 AI 에이전트의 사내 사용량을 대폭 늘리는 ‘토큰맥싱’(tokenmaxxing)을 감행했는데, 이 결과 종량제 비용이 종잡을 수 없이 치솟으며 재무구조를 압박하기 시작했다.
오픈AI와 앤트로픽 등 주요 AI 에이전트 개발사들이 계속 토큰 당 비용을 낮추고 있지만, AI 도구의 비약적 발전으로 활용 범위가 늘며 기업이 AI 사용량과 비용을 예측하기 너무 어려워진 것도 큰 문제점으로 꼽힌다.
예컨대 차량 플랫폼 기업 우버는 AI 코딩 도구의 사용량이 급증하며 올해 책정한 AI 예산이 불과 4개월 만에 소진되자 불가피하게 AI 토큰 소비량을 제한하는 조처를 발동했다.
컨설팅 업체 가트너에 따르면 AI 코딩 도구에서 발생하는 비용은 2028년이면 평균 수준의 인간 개발자가 받는 연봉을 앞지를 것으로 예측된다.
가트너가 기업을 대상으로 실시한 다른 설문조사 결과를 보면 올해 테크 예산의 인상을 전망한 업체의 비율이 4분의 3에 달했다. 특히 이중 절반에 가까운 곳들은 두 자릿수 증가율을 예상했다.
이에 따라 기업들이 중국산 오픈소스(공개 소프트웨어) AI 등 저렴한 선택지로 빠르게 고개를 돌리고 있다. ‘오픈 라우터’ 등 라우팅(경로 연결) 서비스도 인기가 높아졌다. 라우팅 서비스는 일종의 ‘AI 오픈 장터’로, 쉬운 작업은 가성비(가격 대비 성능)가 좋은 AI에 선별 배정하고 고난도 업무는 클로드 등 프리미엄 AI 도구에 지정해 비용을 절감하는 것이 골자다.
씨티그룹의 분석에 따르면 오픈 라우터에서 오픈소스 AI용 토큰의 처리 비율은 지난 1월 34%에서 이달 65%로 배 가까이 뛰었다. 그만큼 오픈소스 AI의 사용량이 급등한 것이다.
오픈 라우터에서 가장 인기가 높은 4대 AI 모델은 모두 중국제로 이 중 1위는 중국의 대표 고효율 AI인 ‘딥시크’다. 이런 중국제 AI 모델의 비용은 100만 토큰 당 최저 18센트로, 미국산 프리미엄 AI 모델의 평균가(4달러)와 비교해 5% 미만에 불과하다.
AI 스타트업 블루록의 헤롤드 변 최고경영자(CEO)는 로이터 통신과의 인터뷰에서 “과거 오픈소스 모델은 메이저급 AI에 1년 이상 뒤처져 있었지만, 지금은 그 차이가 4개월 수준으로 좁혀졌다. 격차는 더 빠르게 줄어들 것으로 보인다”고 말했다.
AI 인프라 효율화 기업인 웨카의 발 버코비치 최고AI책임자(CAIO)는 “최근 오픈소스 모델은 빅테크 제품 성능의 90%를 구현하면서 비용은 10% 수준에 불과하다”며 “모든 업무 단계마다 굳이 비싼 프리미엄 모델을 쓸 필요가 없다”고 지적했다.
한편 중국산 오픈소스 AI는 보안 위험이나 데이터 유출 우려가 적잖아 기업이 대규모 도입을 꺼릴 수 있다는 것이 단점이다.
이 때문에 업계에서는 ‘멀티플랫폼’ 전략이 대안으로 거론된다. 업무를 구별해 비핵심 단순 작업은 저비용 AI를 활용하고, 복잡한 핵심 업무는 고급 AI에 맡기는 유연한 ‘하이브리드’ 방식이 대거 퍼질 수 있다는 것이다.
