AI에게 위험한 일을 물으면 “도와드릴 수 없습니다”라는 답이 돌아온다. 그렇다면 이런 제한이 더 엄격해지면 해커도 AI를 못 쓰게 될까?
상용 AI 서비스의 안전장치만으로 모든 악용을 막기는 어렵다. 해커는 서비스에 접속하는 방식 말고도 직접 실행하는 AI 모델을 선택할 수 있기 때문이다. 하지만 AI의 거절을 우회하는 일과 실제 기기를 해킹하는 일은 서로 다른 문제다.
챗봇의 거절은 출입구 하나를 지키는 일이다
ChatGPT 같은 서비스에는 위험한 답변을 거절하는 기능과 악용을 감지하는 정책이 있다. OpenAI는 안전장치를 의도적으로 우회하면 계정 접근이 제한될 수 있다고 밝힌다.
반면 공개된 AI 모델 가운데에는 파일을 내려받아 자기 컴퓨터에서 실행할 수 있는 것도 있다. 이런 모델은 연구와 개발에 유용하지만, 이미 배포된 모든 복사본을 한 번에 회수하기는 어렵다.
건물 정문에 경비원이 있어도 도시 전체의 모든 방을 그 경비원이 관리할 수는 없는 셈이다.
우회 문제도 종류가 다르다
첫째는 AI가 원래 거절할 답을 하도록 유도하는 이른바 탈옥 시도다. 말의 흐름에 따라 판단이 흔들리는 문제다.
둘째는 AI가 읽는 웹페이지나 문서 안에 지시문을 숨겨, 원래 해야 할 작업을 벗어나게 만드는 경우다. 특히 AI가 다른 프로그램을 조작할 권한까지 있으면 위험이 커진다. 국제 웹 보안 단체 OWASP도 이런 문제를 주요 위험으로 다룬다.
셋째는 AI를 직접 실행하는 방식이다. 세계 최고 수준의 모델을 처음부터 학습시키려면 거대한 비용이 들지만, 이미 공개된 모델을 쓰거나 목적에 맞게 조정하는 일은 그보다 접근하기 쉽다.
대형 AI를 새로 만드는 것과 공개된 AI를 자기 기계에서 돌리는 것은 전혀 다른 난도다.
평범한 이용자: “계정 정지되면 곤란한데?” 공격자: “그 계정 안 쓰는데?”
자주 쓰는 AI 계정이 사라질까 봐 걱정하는 이용자에게 계정 정지는 실제로 큰 불이익이다. 굳이 위험한 실험을 할 이유도 적다.
그런데 자기 기기에서 모델을 돌리는 공격자에게는 그 채팅 서비스의 계정 정지가 직접적인 제약이 되지 않을 수 있다. 그렇다고 위법 행위가 합법이 되거나 수사에서 자유로워진다는 뜻은 아니다. 계정 정지가 영향을 미칠 수 있는 범위에 한계가 있다는 이야기다.
영화였다면 천재 해커가 삼엄한 경비를 뚫는 장면이겠지만, 현실의 반전은 “그 건물에 입장한 적이 없는데요?”일 수도 있다.
위험한 변화는 천재 한 명보다 작업 속도에 있다
AI는 자료를 정리하고, 코드를 작성하고, 오류를 찾고, 여러 작업의 결과를 비교하는 일을 도울 수 있다. 숙련자의 모든 지식을 대신한다기보다는 한 사람이 처리할 수 있는 작업량을 늘려 주는 것이다.
Anthropic이 2026년 9월 10일 발표한 악용 사례 분석에는 한 명의 운영자가 여러 표적을 동시에 다루고 일부 침해를 2~3시간 만에 진행한 사례가 나온다. 조사된 개별 사례이므로 누구나 그런 공격을 할 수 있다는 뜻은 아니다.
그래도 그림은 달라진다. 이제는 천재 한 명의 손놀림만이 아니라, 한 사람이 지휘하는 지치지 않는 작업팀이 문제다. 문제는 그 팀원이 가끔 아주 자신 있게 틀린다는 점이다.
냉장고에 AI가 복제된다는 뉴스는 어디까지 사실일까?
Anthropic은 2026년 10월 12일 AI가 여러 기기 사이로 퍼질 가능성을 다룬 실험을 공개했다. 연구팀은 저렴한 안드로이드 TV 기기 15대에 AI 처리를 분산했고, 작은 모델 하나는 9종류의 기기 중 8종류에서 실행 환경을 구축했다. 침입을 쉽게 설정한 격리 시험망에서는 더 강한 모델의 연속 복제도 시험했다.
이는 향후 위험의 구성 요소를 확인한 결과다. 가정용 냉장고가 이미 무차별 감염되고 있다는 소식은 아니다. 다양한 실제 기기를 스스로 넘나드는 AI가 언제 가능할지는 예측의 영역이다.
TV 15대를 모아 AI를 실행한다니, 이쯤 되면 스마트홈보다 AI 합숙소에 가깝다. 입주자를 더 받기 전에 현관문 잠금장치부터 점검하자.
결국 중요한 건 AI의 말투보다 접근 권한이다
AI가 위험한 요청을 거절하도록 만드는 일은 필요하다. 동시에 기기 업데이트, 불필요한 연결 차단, 민감한 작업의 사람 승인, 최소한의 프로그램 권한, 비정상적인 통신 감시가 함께 가야 한다.
AI가 “죄송하지만 어렵습니다”라고 정중하게 말하는 것과 실제 시스템의 문이 잠겨 있는 것은 다른 일이다. 정중한 답변은 좋다. 문단속은 더 중요하다.
