■‘토큰 맥싱’ 부작용에 백기
점수따려 AI에 불필요한 지시 남발
아마존 직원평가‘키로랭크’중단
젠슨 황“연봉 반 써라”호언했지만
비용 폭증에도 생산성 향상 미미
인공지능(AI) 개발자들을 잠 못 이루게 했던 ‘토큰맥싱(Tokenmaxxing·토큰 사용 부풀리기)’ 바람에 제동이 걸렸다. AI 전쟁에서 승리하기 위해 개발자들의 토큰 소비를 압박했던 빅테크들이 실속이 없다며 순위표를 없애고 있기 때문이다. 토큰 이용량으로 직원 역량을 평가했던 개발사들은 토큰 소비가 보여주기에 그치고 생산성을 후퇴시키고 있다며 후회했다.
파이낸셜타임스(FT)는 28일아마존이 직원들의 AI 도구 사용 내역을 추적하는 ‘키로랭크’가 중단됐다고 보도했다. 키로는 아마존이 자체 개발한 AI 코드 생성 도구다. 직원들이 키로를 얼마나 쓰느냐에 따라 점수를 부여하고 순위를 매기는 제도가 폐지된 것이다.
FT는 직원들이 불필요한 활동까지 해가며 점수를 높이려 했고 회사의 컴퓨팅 비용이 늘어나면서 이 같은 결정이 내려졌다고 설명했다. 직원들이 AI 개발이나 업무에 꼭 필요하지 않은데도 토큰을 억지로 소비하며 평가 순위를 높이려 했기 때문이다. 아마존은 대신 AI 사용만 측정하지 않고 직원이 유용한 코드를 개발하기 위해 AI를 얼마나 정기적으로 쓰는지 측정하는 지표를 쓰기 시작했다.
토큰은 AI 모델이 학습과 추론 과정에서 처리하는 최소 데이터 단위다. AI가 정보를 글자나 문장부호로 쪼갠 뒤 토큰으로 인식한다. AI 에이전트로 추론이 이뤄질 때는 작업 단위당 토큰 수천 개가 들어간다. 토큰맥싱은 AI 개발이나 업무 처리에서 성과를 내기 위해 토큰 사용을 극대화하는 현상을 말한다.
토큰맥싱을 가장 강조하는 경영 리더가 바로 전 세계 시가총액 1위 기업 엔비디아를 이끄는 젠슨 황 최고경영자(CEO)다. 그는 3월 팟캐스트에 출연해 “AI를 쓰지 않는 것은 칩 설계에 종이와 연필을 사용하는 것과 같다. 연 50만달러의 연봉을 받는 엔지니어가 연말에 25만달러 이상을 토큰에 쓰지 않았다면 매우 걱정하게 될 것”이라며 유능한 엔지니어라면 연봉의 절반은 토큰 구입에 써야 한다고 강조했다.
모든 엔지니어에게 기본 급여 외에 연간 ‘토큰 예산’을 지급하자고 제안까지 했다. 일각에서는 황 CEO가 토큰 사용을 주창한 배경을 결국 엔비디아 매출 확장을 위한 전략적 행보로 풀이한다.
엔비디아를 비롯한 빅테크들이 토큰맥싱에 앞장섰지만 의도와 달리 부작용을 낳았다. 이번 아마존 사례가 대표적이다. 아마존은 80% 이상이 매주 AI를 써야 한다는 목표를 제시하며 개발자들을 압박했지만 직원들은 AI 에이전트(비서)에 불필요한 업무를 지시해 토큰을 쓰도록 하고 자신의 평가 점수를 높였다.
FT는 소식통을 인용해 데이브 트레드웰 아마존 엔지니어링 수석 부사장이 순위표는 선의로 만들어졌지만 토큰 사용량을 부풀리는 토큰맥싱 때문에 비용 부담이 늘었다면서 직원들에게 단순히 AI를 쓰기 위해 토큰을 쓰지 말라고 당부했다고 전했다.
같은 이유로 토큰 순위 경쟁을 없애는 기업들이 늘고 있다. 페이스북 운영사인 메타는 순위표(클로드노믹스)를 통해 8만5,000명의 토큰 사용을 추적하며 상위 250명을 가렸다. 직원들은 ‘불멸자’나 ‘토큰 레전드’라는 칭호를 얻기 위해 경쟁했지만 토큰 소비 자체가 목표로 전락한 결과 피로감을 호소하는 목소리가 터져나왔다. 한 달 토큰 사용량이 60조 개를 넘어서고 1위 혼자서 토큰 2,810억 개를 쓸 정도로 낭비가 심해지자 클로드노믹스를 개발한 내부 직원은 운영을 중단했다.
차량 공유 업체인 우버에서도 토큰맥싱 회의론이 커지고 있다. 우버는 올해 앤스로픽의 코딩 도구인 ‘클로드 코드’ 이용에 토큰을 쏟아부은 결과 연간 AI 예산을 4개월 만에 다 써버렸고 투자수익률(ROI)에 경고등이 켜졌다. 기업용 소프트웨어 기업 세일즈포스는 토큰 수만 계산하는 방식에서 벗어나 에이전트가 얼마나 많은 업무를 처리했는지 평가하는 에이전트 작업 단위(AWU) 개념을 도입했다.
앤드루 맥도널드 우버 최고운영책임자(COO)는 팟캐스트에 출연해 “기술연구팀이 AI 코딩 서비스를 사용하고 있지만 생산성 향상이 뚜렷하게 나타나지 않았다”면서 “경영진이 토큰 소비 비용을 어떻게 관리할지 논의하기 시작했다”고 우려했다.
<로스앤젤레스 서울경제=김창영 특파원 >
