엔트로픽 연구원,
사표내며 섬뜩한 경고
“스스로 성능 개선하다
인간 통제 벗어날 위험
국제적 안전체계 시급”
인공지능(AI) 기업 앤트로픽의 한 연구원이 회사를 떠나면서 “AI가 인류를 파멸시킬 수 있다”는 섬뜩한 경고를 내놨다. AI가 인간 개입 없이 스스로 성능을 개선하면서 어느 순간 인간 통제를 벗어나 명령을 거부하는 수준까지 발전할 수 있다는 것이다.
영국 출신인 제이콥 콕슨(27)은 지난 8일 자신의 엑스(X)에 앤트로픽 퇴사 사실을 알리며 “나는 지난 3년간 오픈AI와 앤트로픽에서 모두 일했지만, 어느 회사도 책임감 있게 행동하지 않고 있다”고 질타했다.
콕슨은 대규모 데이터를 이용해 새로운 AI 모델을 학습시키는 분야를 연구했다. 그는 AI 업체들이 인간의 개입 없이 스스로 성능을 개선하는 시스템을 개발하기 위해 경쟁하는 상황에서 안전 문제가 뒷전으로 밀릴 수 있다고 우려했다. 특히 스스로 성능을 개선하는 AI가 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성도 있다는 것이 콕슨의 주장이다.
그는 “AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다”며 “머지 않아 이 기술들은 무엇이든 해킹하고, 하룻밤 사이 어떤 분야에서든 혁신을 일으켜 실질적인 권력과 자원을 확보하는 초인간적 시스템이 될 것”이라고 말했다. “다른 어떤 인간 활동도 이 정도 수준의 위험을 초래하지 않는다”고도 덧붙였다.
그는 월스트리트저널(WSJ)과의 인터뷰에서도 같은 경고를 날렸다. 그는 “가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다”며 “내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다”고 말했다.
앤트로픽의 다른 연구원들도 콕스의 말에 동의했다. 앤트로픽에서 ‘확장 가능 감독’ 연구주제를 이끌고 있는 사무엘 마크스는 콕슨의 게시글을 인용해 “AI는 자주 심각하게 오작동한다”며 “많은 개발자들이 AI를 더 안전하게 구축하는 방법을 파악하기 위해 속도를 늦추고 싶어하며, 이 때문에 나도 앤트로픽에서 안전 연구에 참여하고 있다”고 썼다.
마찬가지로 앤트로픽에서 정렬과학 총괄을 맡고 있는 에번 휴빙거도 “콕슨의 말이 옳다. 개인적으로 앞으로 10년 내 그럴 가능성이 10% 이상이라고 생각한다”고 주장했다. 특히 그는 재귀적 자기 개선으로 구축되는 초지능을 경계해야 한다고 강조했다. 초지능은 AI가 인간의 능력을 초월하는 상태를 말한다.
