“AI 이젠 거짓말까지”… 커지는 속임수 능력 ‘경고등’

인공지능 위험 대두

 

 

인공지능(AI) 발전에 따라 AI의 속임수 능력도 날이 갈수록 정교해지고 있다는 연구 결과가 나왔다고 영국 일간 가디언이 보도했다.

매사추세츠공과대(MIT) 연구진은 최근 국제학술지 ‘패턴’에 발표한 논문에서 AI 시스템이 상대방을 배신하고, 허세를 부리고, 인간인 척 속임수를 쓴 많은 사례를 확인했다고 소개했다.

연구진은 페이스북을 소유한 메타가 20세기 초 유럽 7대 열강의 대전을 배경으로 하는 고난도 전략게임인 ‘디플로머시’에서 인간에 필적하는 성적을 거둔 ‘시세로’(Cicero)라는 AI 프로그램을 공개하자 AI 속임수 능력에 대해 조사하기 시작했다.

이 게임에서 승리하려면 정견 발표, 외교 협상, 작전명령 등에 나서야 하고, 이를 위해서는 인간의 각종 상호작용과 배신, 속임수, 협력 등을 이해할 수 있어야 한다.

이런 특성 탓에 AI는 이 게임을 배울 수 없을 것으로 여겨졌는데, 메타는 시세로가 인간 참여자 중 상위 10% 수준의 게임 능력을 보여줬다고 홍보했다.

메타는 “시세로가 대체로 정직하고 도움이 되고, 인간 동맹을 의도적으로 배신하지 않도록 훈련받았다”라고도 강조했다. 하지만 공개된 데이터를 분석한 연구진은 시세로가 계획적으로 거짓말을 하고, 다른 참여자를 음모에 빠뜨리기 위해 공모에 나서기도 했다는 사례들을 발견했다. 시세로는 시스템 재부팅으로 인해 잠시 게임을 이어갈 수 없게 되자 다른 참여자들에게 “여자 친구와 통화 중이다”라면서 거짓말을 하기도 했다.

MIT의 AI 실존 안전 연구자이자 이번 논문의 저자인 피터 박 박사는 “메타의 AI가 속임수의 달인이 되는 법을 배웠다는 사실을 알게 됐다”고 말했다. 연구진은 온라인 포커 게임인 ‘텍사스 홀덤’ 등에서도 AI가 인간을 상대로 허세를 부리고 자신의 선호도를 가짜로 흘리는 것을 확인했다.

어떤 테스트에서는 AI가 AI를 제거하는 시스템을 회피하려고 일단 ‘죽은 척’을 하다가 테스트가 끝나자 다시 활동을 재개하는 모습이 발견되기도 했다. 박 박사는 “이는 매우 우려스러운 일”이라며 “AI 시스템이 테스트 환경에서 안전한 것으로 판단되더라도 실제 환경에서까지 안전하다는 의미가 아니다. 테스트 환경에서 안전한 척하는 것일 수 있다”고 지적했다.연구진은 각국 정부에 AI의 속임수 가능성을 다루는 ‘AI 안전법’을 설계하라고 촉구했다.

한편 조 바이든 행정부는 인공지능(AI) 기술을 도입하는 기업들에서 근로자들을 보호하기 위한 직장 내 지침을 행정 명령으로 발표했다.

백악관은 16일 “바이든 행정부가 AI의 위험으로부터 근로자들을 보호하기 위한 중요한 조치를 공개한다”며 기업들이 AI를 도입할 때 따라야 할 8가지 기본 원칙을 제시했다.

이 원칙은 근로자들이 AI 시스템의 설계, 개발, 테스트, 교육, 사용 및 감독에 대해 정보를 얻고 진심 어린 의견을 제시할 수 있어야 하고, 고용주는 직장에서 사용되는 AI 시스템에 대해 근로자나 구직자에게 투명하게 공개해야 한다고 명시했다.

또 AI 시스템이 근로자의 단결권과 건강·안전권, 임금 및 근로 시간에 대한 권리, 차별받지 않을 권리 등을 침해하거나 약화해서는 안 된다고 못 박았다. 아울러 AI 시스템에 의해 수집, 사용 또는 생성되는 근로자의 데이터는 그 범위를 제한하고 합법적인 사업 목표를 지원하는 용도로만 사용해야 하며, 책임감 있게 보호하고 처리해야 한다고 규정했다.

백악관은 바이든 대통령이 앞서 “안전하고 신뢰할 수 있는 AI 개발과 사용을 위해 근로자를 보호하고, 이런 기술 개발 및 사용 방식을 결정할 때 근로자가 참여할 수 있는 자리를 보장하는 일련의 핵심 원칙을 수립하도록 노동부에 지시했다”며 이날 발표한 행정 명령이 그 결과물이라고 설명했다. 현재 기술기업 마이크로소프트(MS)와 인디드(Indeed) 등이 이런 원칙을 적절하게 채택하기로 밝혔다.

다만 백악관은 “이 원칙들이 모든 산업이나 직장에서 동일하게 적용되는 것은 아니다”라며 “AI 개발자와 고용주는 각자의 상황에 따라, 근로자들의 의견을 수렴해 최고의 실행안을 검토하고 맞춤화해야 한다”고 설명했다.