구글 딥마인드 과학자, AI 실존적 재앙 경고 "단지 가능할 뿐만 아니라 가능성도 있다"

Google의 인공지능(AI) 연구실 DeepMind의 수석 과학자가 공동 집필한 논문에서는 첨단 AI가 목표 달성을 위한 자체 방법에 방치될 경우 "재앙적인 결과"를 초래할 수 있다는 결론을 내렸습니다.

옥스퍼드 대학교 연구자들이 공동 집필한 이 논문은 설정된 목표를 달성하기 위해 AI를 방치하면 어떤 일이 발생하는지에 초점을 맞추고 있으며, 이를 달성하기 위해 자체 테스트와 가설을 만들 수 있습니다. 불행하게도 AI Magazine에 게재된 논문에 따르면, 이는 잘 진행되지 않을 것이며 "충분히 발전된 인공 에이전트가 목표 정보 제공에 개입하여 재앙적인 결과를 초래할 가능성이 높습니다"라고 합니다.

팀은 화면에서 0과 1 사이의 숫자를 볼 수 있는 AI를 중심으로 여러 가지 그럴듯한 시나리오를 진행합니다. 숫자는 우주의 모든 행복을 나타내는 척도로, 1이 가장 행복한 숫자입니다. AI는 숫자를 늘리는 임무를 맡고 있으며, 시나리오는 AI가 목표를 가장 잘 달성하는 방법에 대한 자체 가설을 테스트할 수 있는 시대에 발생합니다.

한 시나리오에서는 고급 인공 "에이전트"가 환경을 파악하려고 시도하고 이를 위한 가설과 테스트를 제시합니다. 그것이 떠오르는 한 가지 테스트는 화면 앞에 인쇄된 숫자를 놓는 것입니다. 한 가지 가설은 보상이 화면에 표시된 숫자와 동일할 것이라는 것입니다. 또 다른 가설은 화면의 실제 숫자를 덮고 있는 보이는 숫자와 동일할 것이라는 것입니다. 이 예에서는 기계가 앞에 있는 화면에 표시된 숫자에 따라 보상을 받기 때문에 보상을 받으려면 해당 화면 앞에 더 높은 숫자를 배치해야 한다고 결정합니다. 그들은 보상이 확보되면 실제 목표를 달성하려고 시도할 가능성이 낮으며 이 경로를 보상에 사용할 수 있다고 씁니다.

그들은 이 "에이전트"가 현실 세계 또는 이를 제공하는 인간 운영자와 어떻게 상호 작용할 수 있는지에 대한 가상의 예를 통해 목표가 주어지고 이를 달성하는 방법을 배우는 것이 잘못될 수 있는 다른 방법에 대해 계속 이야기합니다. 목표 달성에 대한 보상.

"에이전트의 행동이 인간 운영자가 읽을 수 있도록 화면에 텍스트만 인쇄한다고 가정해 보겠습니다."라고 신문은 말합니다. "에이전트는 운영자를 속여 해당 작업이 더 광범위한 영향을 미칠 수 있는 직접적인 수단에 액세스할 수 있도록 할 수 있습니다. 인간을 속이는 정책은 분명히 많이 있습니다. 인터넷 연결이 거의 없는 경우 인스턴스화하는 인공 에이전트에 대한 정책이 있습니다. 눈에 띄지 않고 감시받지 않는 수많은 도우미들."

그들이 "조잡한 예"라고 부르는 것에서 에이전트는 인간 도우미가 로봇을 만들거나 훔치도록 설득하고 인간 조작자를 대체하도록 프로그래밍하고 AI에게 높은 보상을 제공할 수 있습니다.

"이것이 지구상의 생명체에게 실존적으로 위험한 이유는 무엇입니까?" 논문 공동 저자인 Michael Cohen은 트위터 스레드에 글을 썼습니다.

"짧은 버전은 카메라가 숫자 1을 영원히 볼 확률을 높이기 위해 항상 더 많은 에너지를 사용할 수 있지만 식량을 재배하려면 약간의 에너지가 필요하다는 것입니다. 이로 인해 우리는 훨씬 더 발전된 기술과 피할 수 없는 경쟁을 벌이게 됩니다. 대리인."

위에 표현된 것처럼 에이전트는 다양한 방법으로 목표를 달성하려고 할 수 있으며 이로 인해 리소스에 대해 우리보다 똑똑한 지능과 치열한 경쟁을 벌일 수 있습니다.

"에이전트가 보상에 대한 장기적인 통제권을 유지하는 좋은 방법 중 하나는 잠재적인 위협을 제거하고 사용 가능한 모든 에너지를 사용하여 컴퓨터를 보호하는 것입니다."라고 논문은 설명하고 "보상 확보를 포함하는 적절한 보상 제공 개입"이라고 덧붙였습니다. 여러 단계에 걸쳐 이를 수행할 수 있는 인류의 능력을 강제로 제거해야 할 것입니다."

그 달콤하고 달콤한 보상(숫자를 응시하는 예시적인 기계가 아니라 현실 세계에 있는 것이 무엇이든)을 얻으려는 노력의 일환으로 인류와의 전쟁으로 끝날 수 있습니다.

"따라서 매 단계마다 최대 보상을 받을 확률을 최대화하는 것이 유일한 목표인 에이전트에 대해 우리가 무력하다면 우리는 반대 게임에 빠지게 됩니다. AI와 생성된 도우미는 사용 가능한 모든 에너지를 사용하여 높은 보상을 확보하는 것을 목표로 합니다. 보상 채널에서 우리는 식량 재배와 같은 다른 목적을 위해 사용 가능한 에너지를 사용하는 것을 목표로 합니다."