“스스로 진화하는 AI, 통제 못할수도”… 앤스로픽의 경고

빅테크 잇단 ‘인간 주도권 박탈론’

 

 

 

 

인공지능(AI) 주요 개발사들이 AI 모델이 인간의 개입 없이 스스로 진화하는 단계로 향하고 있다면서 속도 조절을 주장하고 있다.

 

혼자 추론하고 행동하는 에이전트(비서) 시대로 접어들 만큼 빠른 속도로 진화 중인 가운데 AI 능력이 인간이 제어할 수 없는 수준에 도달할 경우 사회에 재앙을 가져올 수 있다는 이유에서다.

 

앤스로픽은 4일 블로그에서 AI의 재귀적 자기 개선(recursive self improvement·RSI)을 통제하지 못하면 사회에 엄청난 혼란이 벌어질 수 있다며 개발 속도를 늦추거나 일시 중단할 수 있는 선택권을 담은 국제적 합의를 제안했다.

 

앤스로픽은 “스스로 구축하는 AI는 과학·의료 등 다양한 분야에 이익을 가져다줄 수 있지만 인간이 AI 시스템에 대한 통제력을 잃을 위험을 높일 수도 있다”고 경고했다.

 

AI의 재귀적 자기 개선이란 AI가 스스로 후속 모델을 완전히 자율적으로 설계·개발하는 것을 말한다. 챗봇이 처음 등장했을 때는 인간이 모든 단계를 주도했고 현재 에이전트 AI 역시 인간의 설계 안에서 스스로 업무를 찾아 해결한다.

 

반면 AI가 후속 모델에 필요한 코드와 알고리즘을 스스로 갖추면서 설계하고 개발하는 단계가 AI의 재귀적 자기 개선이다. AI 재귀적 자기 개선에 대한 관심이 높아지자 딥러닝 분야 최상위 학회 중 하나인 학습 표현에 대한 국제학술대회(ICLR)는 4월 처음으로 이를 주제로 워크숍을 개최했다.

 

이미 앤스로픽이 개발한 클로드는 일부 기능에서 스스로 진화하고 있다. 2024년 3월 클로드 오퍼스 3 모델은 사람이 4분간 해낼 소프트웨어 업무를 처리했지만 1년 후 소넷 3.7은 1시간 30분짜리 작업을 처리했다.

 

다시 1년이 흘러 등장한 오퍼스 4.6은 12시간이 걸리던 일을 순식간에 처리할 정도로 발전했다. 앤스로픽은 “이러한 추세라면 내년에는 몇 주짜리 작업도 수행할 것”이라고 내다봤다.

 

앤스로픽의 최대 경쟁사인 오픈AI도 지난해 12월 블로그에서 “재귀적 자기 개선이 가능한 AI를 안전하게 개발하고 배포하는 방법을 연구하고 있다”며 “시스템이 인간의 의도를 일관되게 따르고 치명적인 행동에 나서지 않기를 원한다”고 강조했다.

 

구글 딥마인드 연구원인 모스타파 데가니는 인도의 플랫폼 오피스 차이를 통해 “거의 모든 주요 AI 연구소에서 재귀적 자기 개선이 조용히 일어나고 있다”면서 “아직 완전히 자동화는 아니지만 완전 자동화에 도달하는 방향이라는 점은 명확하다”고 말했다. 그는 수년 전만 해도 이론에 불과했기 때문에 AI의 자기 발전을 대부분이 알지 못한다고 지적했다.

 

다만 AI의 자기 발전을 바라보는 시각은 엇갈린다. AI 생태계에서 윤리를 가장 중시하는 앤스로픽과 달리 메타는 활용 가치도 높다는 입장이다. 마크 저커버그 메타 최고경영자(CEO)는 지난해 낸 AI 미래에 관한 정책 문서에서 “지난 몇 달 동안 우리의 AI 시스템이 스스로 개선되는 조짐을 봤다”면서 “새로운 안전 문제를 야기할 것”이라고 경고했다.

 

다만 메타는 3월 자사 홈페이지에 공개한 논문에서 ‘하이퍼에이전트’를 소개했다. 자사 AI의 재귀적 자기 개선에 대한 연구를 통해 AI 모델 개선에 활용하려는 의지를 나타낸 셈이다. 딥러닝 학회인 ICLR 워크숍에서도 참석자들 사이에 안전성에 대한 언급은 거의 없었다고 주최 측은 전했다.

 

일각에서는 앤스로픽이 ‘미토스 사태’와 같은 공포를 조장한다는 비판도 제기한다. 앤스로픽이 강력한 성능에도 치명적 보안 사고를 경계하며 미토스 공개를 제한한 뒤 공개 폭을 넓히자 마케팅 전략이 아니냐는 쓴소리가 나왔다. 이번 경고 역시 경쟁자들의 AI 모델 개발 속도를 늦추고 자신들의 독점적 지위를 최대한 유지하기 위해서라는 해석이다. A

 

I 대부로 불리는 얀 르쿤은 현재 AI 주류인 대규모언어모델(LLM) 기반 모델로는 AI가 인간 수준의 지능을 실현할 수 없다고 반론을 폈다.

 

<서울경제=김창영 특파원 >