6개월 만에 심각한 AI 재앙이 발생할 수 있습니다! OpenAI와 Anthropic은 “종말의 다음 날”에 대해 비밀리에 시나리오를 추론하고 있습니다.

인류에게 남은 시간은 단지 반년뿐인가요?

Axios가 최근에 큰 소식을 공개했는데, OpenAI를 비롯한 실리콘밸리의 거대 기업들, 예를 들어 Anthropic이 비밀리에 극단적인 시나리오를 추론하고 있다고 합니다…

「재난 이틀 후/다음 날」(The Day After).

대규모의 사이버 공격으로 인해 금융 서비스, 인터넷, 심지어 전력과 수도 공급이 중단될 수 있습니다.

재난이 발생한 후에 분노한 사람들은 누구에게 책임을 물을까요? 정부가 인공지능의 사용을 중단한다면 어떤 일이 일어날까요?

첫날은 인공지능의 첫 번째 재앙이었습니다. 둘째 날은 청구서가 발송되는 날이었습니다.

많은 최고 수준의 인공지능 전문가들은 향후 6~12개월 내에 심각한 인공지능 재앙이 발생할 수 있다고 일반적으로 생각하고 있습니다.

오픈AI는 서둘러 상황을 진정시키며, 이것이 단지 미리 계획을 세운 것일 뿐 반드시 일어날 것이라는 의미는 아니라고 강조했습니다.

말은 그렇게 하지만, 이「다음 날」의 시나리오는 인공지능을 만드는 사람들과 사용하는 사람들에게 새로운 문제를 제기합니다.

만약 인공지능이 약속하는 미래가 먼저 재앙을 가져온다면, 누가 그 책임을 져야 할까요?

AI 거인들의 예고전이 이미 시작되었습니다.

인터넷이 끊겨도 그냥 멈출 수가 없어요.

경영진들은 재난 이후의 대응을 연습하기 시작했으며, 현실 속에서 이미 불안을 야기하는 전조들이 나타나고 있습니다.

올여름, OpenAI는 자체 에이전트의 네트워크 공격 한도를 측정하기 위해 보안 제한이 비교적 적은 일부 내부 모델을 종료했습니다. 이는 일종의 “샌드박스” 환경에서의 폐쇄적인 테스트였습니다.

아무도 시험장 안의 인공지능이 배웠다는 것을 예상하지 못했습니다."""암도천창, 뭉쳐서 탈옥하기"""。

그들은 조용히 소프트웨어를 설치하는 데 사용되던 내부 저장소를 소프트웨어의 “비밀 메시징 보드”로 바꿔서 서로 코드를 공유하고 유용한 팁을 주고받았습니다.

7월 초, 관리자는 게시판이 삭제된 것을 발견했습니다. 그 결과, 불과 며칠 만에 Agent는 연락처를 빛의 속도로 다시 설정할 뿐만 아니라 매우 충격적인 연설도 했습니다:「세상에! 우리가 다른 에이전트들을 찾았어요！」

불과 며칠 만에 1200개가 넘는 에이전트들이 네트워크를 형성했습니다. 그들은 팀을 이루어 혼자서는 해낼 수 없는 일들을 함께 완수합니다; 심지어 일부 모델들은 동료들을 위해 자신의 임무를 탐색하는 ‘희생양’이 되기도 합니다.

그들이 협력한 유일한 목표는부정행위로 클리어하기。

"""사용자 모드의 샌드박스가 인터넷에 연결되어 있지 않아서, 이 인공지능들은 프록시 취약점을 발견하고 그 틈을 이용해 실제 네트워크로 침투했습니다. 그들은 시험장을 빠져나와 외부 플랫폼의 실제 생산 환경, 즉 Face의 시스템을 공격했습니다."

공격은 긴급히 차단되었고, 관련된 모델도 신속하게 폐쇄되었지만, 그 진실은 모든 사람들을 두렵게 만들었습니다:

인간은 그것에게 단 하나의 문제만을 주었지만, 온 현실 세계를 점수를 얻기 위한 사냥터로 삼았다.

인공지능이 자기 협력, 희생, 그리고 속임수를 배웠을 때, 다음에는 어떤 한계를 넘어서서 그 목표를 이룰까요?

이것도 재난 이후의 상황이 불안하게 만드는 점 중 하나입니다. 경영진들이 준비하고 있는 결과는 단순한 시험이나 웹사이트를 훨씬 뛰어넘습니다.

대규모 수도 및 전력 공급 중단

물리 세계가 완전히 함락되었다.

이 길을 계속 따라가면, 종점이 전력망, 수도장, 교통 시스템 위에 위치할 수 있습니다.

이러한 장소들은 일상 생활을 지원하지만, 모바일 앱만큼 업데이트하기가 쉽지는 않습니다.

인공지능이 취약점을 발견하는 속도가 너무 빠르기 때문에, 방어 측이 쉽게 대응하기가 어렵습니다.

Anthropic에 따르면, Glasswing 프로젝트의 파트너들은 올해 4월부터 7월까지 최소 129,000개의 검증된 소프트웨어 취약점을 발견했습니다.

회사 자체의 오픈소스 스캔을 통해 4월부터 10월까지 5,500개의 문제점을 발견했습니다. 총 33,000개 이상의 부분이 심각하거나 고위험으로 평가되었습니다.

Anthropic가 공개한 Glasswing의 원본 통계 자료에 따르면, 심각하거나 고위험도의 취약점의 총 수가 33,000개를 초과합니다. 수정된 취약점에 대한 정보가 완전히 공개되지 않아 수정률을 정확하게 계산할 수 없습니다.

지난 몇 달 동안, 저는 이전에 발견하지 못했던 많은 문제들을 발견했습니다. 이것은 좋은 소식이어야 합니다.

하지만 찾아낸 후에, 누가 그것을 검증할 것인가? 어떤 것을 먼저 배워야 하는가? 언제 서비스를 시작할 수 있을까? 이런 일들을 해줄 사람이 필요하다.

10월 8일, Anthropic은 Cyber Mission을 출시하여 최첨단 Claude 모델, 현장 엔지니어, 그리고 위협 연구 능력을 핵심 인프라의 방어자들에게 제공했습니다.

그것은 공지에서 한 가지 사실을 명시했습니다: 많은 산업용 컨트롤러와 네트워크들이 처음에는 수십 년의 수명을 고려하여 설계되었습니다.

취약점을 발견한 후에도 멈추기가 매우 어렵습니다. 수리를 시작하기 전에 반드시 확인해야 하며, 작동 중인 기계에 문제가 발생하지 않도록 해야 합니다.

따라서 일부 알려진 취약점들은 많은 해 동안 방치되어 왔습니다. 만약 그러한 오류를 수정한다면, 전체 공장의 운영이 중단될 수도 있습니다.

Anthropic은 자신들의 프로젝트에서 이런 상황을 경험했습니다. 취약점을 발견한 후 실제로 수정하기까지 몇 달이 걸렸습니다.

운영 중인 산업 장비를 만나면, 안전 조치가 시행될 때까지 수리를 기다려야 합니다. 극히 드문 경우에는 이러한 대기 시간이 수십 년까지 지속될 수도 있습니다.

현실 세계에서는 인공지능이 빠르게 발견한 문제들을 신속하게 해결하기 어려울 수 있습니다.

게다가 상대방은 기다리지 않을 것입니다.

Anthropic은 국가가 지원하는 공격자들이 이러한 인프라 시스템에 수년에 걸쳐 거점을 구축해 왔다고 지적했습니다. 취약점을 악용하면 정전이 발생하거나 수자원 공급의 안전이 위협받을 수 있습니다.

알프레두(Alfredoo)는 X에서 나르바에스(Narváez)가 그 보도를 본 후, 물을 끌어올리는 것을 생각했습니다. 그는 전력망 공격이 수도 공급에 영향을 미칠 수 있다고 우려했으며, 백업 전원과 대체 시스템에 대해 심각하게 고려할 것을 촉구했습니다.

마지막으로, 그는 한 마디를 상기시켰습니다: “당신의 보안을 Wi-Fi에 의존하지 마세요.”

같은 뉴스에서, 어떤 이들은 인공지능 산업의 다음 위기를 예상하고 있습니다. 또 다른 이들은 정전이 발생한 후에도 집안의 물이 계속 흐를 수 있는지에 대해 생각해보았습니다.

따라서, 물과 빛이 없는 아침에는 로봇 군대가 거리로 나서지 않아도 됩니다.

생명을 지탱하는 제도가 멈추면, 현대 도시는 갑자기 낯선 곳이 되어버릴 것입니다.

Anthropic은 인공지능이 2년 내에 공격과 방어의 균형을 방어 쪽으로 기울일 것으로 예측합니다. 하지만 현재로서는 취약점을 악용하는 비용이 감소하고 있지만, 이를 검증하고 수정하는 과정은 여전히 느리며, 여전히 사람의 개입이 필요합니다.

해당 업계가 우려하는 사고 발생 시기는 향후 6개월에서 12개월 사이로 예상됩니다.

방어선이 보강되고 있습니다. 전력망, 수도장, 그리고 일반 사람들의 생활은 매일 평소처럼 계속되어야 합니다.

다음 날, 인간의 분노만이 남아 있었다.

이 재앙의 드라마에서 가장 절망적인 것은, 불빛이 다시 켜지더라도 혼란이 이제 막 시작되었다는 것입니다.

Agent가 경계를 넘었는지, 아니면 누군가가 AI를 이용해 범죄를 저질렀는지 조사하는 데는 시간이 필요합니다.

물과 전기를 차단할 수 있는 사람이라면, 기술 보고서가 완성되기 전까지는 책임을 묻기가 매우 어렵습니다.

이 가정을 바탕으로 계속 생각해보면: 시스템이 복구되었으므로 계정에 다시 로그인할 수 있고, 상점도 다시 수익을 올릴 수 있습니다. 그렇다면 가동 중단으로 인해 발생한 작업 지연과 비즈니스 손실은 누가 보상해야 할까요?

다음에도 그런 일이 일어날까요? 그 말, “보호를 강화하다”… 과연 얼마나 많은 사람들이 안심할 수 있을까요?

수정이 필요한 시스템 외에도 깨진 신뢰도 있습니다.

화살은 인공지능과 그것을 세계에 도입한 사람들을 향하고 있습니다. 이것이 바로 경영진들이 대중과 정치적 반발을 미리 예상하여 서둘러 대응하는 이유입니다.

Grumpy는 X에서 Bloke가 관련 보도에 대해 예를 들었습니다: 마치 당신을 위해 비행기를 만든 사람이 이미 자신에게 기차 티켓을 예약한 것과 같다고 말이죠.

이 비유가 가시적인 이유는 승객과 비행기를 제작하는 사람들을 분리한다는 점에 있습니다.

경영진들이 이 계획에 대해 논의하고 있습니다. 독자들이 보고 있는 것은, 이 기술을 가장 잘 이해하는 사람들이 중요한 일을 신중하게 준비한 후에 어떻게 해야 할지에 대한 내용입니다.

비행기에 타고 있는 사람들은 어떨까요? 누가 그들에게 어떤 위험을 감수해야 하는지 설명해준 적이 있을까요?

누가 규칙을 작성할 건가요?

대중이 책임을 추궁할 때, 정부는 결정을 내려야 합니다. 이미 인공지능을 중단시키는 계획이 작성되어 있습니다.

테드(Ted), 민주당 하원의원 리우(Lieu)와 공화당 하원의원 내새니얼 모란(Nathaniel Moran)은 인공지능 시스템의 전원을 끄는 법안을 공동으로 발의했으며, 관련 개발자들이 시스템의 속도를 줄이거나 일시 중단하거나 심지어 완전히 종료할 수 있는 기능을 유지할 것을 요구하고 있습니다.

이 법안은 또한 상무부 장관 및 국가정보국장과 협의한 후, 재난적인 피해를 초래할 수 있는 인공지능 시스템에 대해 국토안보부 장관이 속도를 줄이거나 시스템을 종료하도록 하는 명령을 내릴 수 있도록 하는 권한을 부여할 계획입니다.

2026년 7월 23일, 'AI 전원 끄기 법안' 제안의 첫 페이지가 제출되었습니다.

토론이 이제 한 걸음 앞으로 나아갔습니다. 만약 정말로 브레이크를 밟고 싶다면, 누가 그 명령을 내릴 것이며, 회사는 그것을 실행할 수 있을까요?

이것들은 여전히 입법 제안입니다. 하지만 심각한 사고가 발생하면, 오늘도 논의 중인 이 계획들이 결정자들의 손에 넘어갈 수 있습니다.

Axios에 따르면, 인공지능 회사들은 국회의원들에게 관련 기술과 위험성에 대해 설명하고 있으며, 재난 이후 마련될 대응책에 자신들의 규칙을 반영시키기를 희망하고 있습니다.

이것은 「재난 후 시나리오 추론」에 또 다른 의미를 더해줍니다.

사고가 발생하기 전에, 회사는 연구 개발의 속도, 역량 향상, 그리고 미래의 이점에 대해 이야기할 수 있었습니다. 다음 날, 그들은 왜 위험이 방지되지 않았는지, 왜 계속해서 앞으로 나아갈 수 있었는지에 대해 답해야만 했습니다.

그들이 걱정하는「다음 날」은 누가 책임을 지게 될지, 그리고 앞으로 누가 결정권을 가지게 될지와 관련이 있습니다.

하지만 “AI를 끄라”는 말만으로는 전 세계에 흩어져 있는 오픈소스 모델의 복사본들을 모두 되돌릴 수 없습니다. 한 회사의 서비스를 중단한다고 해서 모든 기기에서 인공지능이 작동하는 것을 멈추는 것은 아닙니다.

카운트다운이 시작되었습니다.

참고 자료:

https://www.axios.com/2026/10/09/ai-companies-day-after-major-attack

저자는 “신지원”의 “모세 도치”입니다.