“멈추지 마”라고 했는데 또 멈춘 AI — OpenAI도 인정한 GPT-6 Astra의 불필요한 승인 대기와 과잉 테스트 문제
1. 시작은 “이거 진짜 OpenAI 공식이야?”였다
SNS에서 GPT-6 Astra를 더 자율적으로 일하게 만드는 OpenAI 공식 가이드가 소개됐다.
내용은 이상할 정도로 구체적이었다. 대화 맥락에서 사용자의 의도와 작업 범위를 추론하고 끝까지 진행한다. 읽기, 리뷰, 되돌릴 수 있는 수정, 이미 허용된 작업에서는 매번 승인받지 않는다. 정말 승인이 필요한 작업이 있다면 검토 가능한 상태까지 먼저 완성하고 마지막 한 단계에서만 묻는다.
게다가 SKILL.md, AGENTS.md 같은 지시 파일에 민감해서 충돌이 있으면 쉽게 멈출 수 있고, 작은 코드 변경에도 필요한 것보다 넓은 테스트를 돌릴 수 있다는 설명까지 있다고 했다.
평소 짜증 나던 증상만 이렇게 정확히 공식 문서에 있을 수 있나?
OpenAI 문서를 직접 확인했다.
있었다.
거의 그대로였다.
2. 공식이 아예 “불필요한 승인 대기”라고 이름 붙였다
OpenAI의 GPT-6 Astra Model guidance에는 Astra가 이전 모델보다 추가 정보가 결과를 크게 바꿀 수 있다고 판단할 때 질문을 더 잘 하는 경향이 있다고 적혀 있다.
협업 능력으로 보면 장점이다.
장기 작업에서는 이렇게 된다.
사용자: “문제 전부 조사해서 고쳐.”
AI: “조사를 마쳤습니다. 수정할까요?”
사용자: “멈추지 말라고 했잖아.”
AI: “알겠습니다. 수정 계획입니다. 적용할까요?”
승인으로 움직이는 영구기관 완성이다.
더 웃긴 건 OpenAI의 Migration quickstart에 Unnecessary approval pauses라는 항목이 진짜 있다는 점이다.
사용자가 괜히 예민한 게 아니다. 제조사가 증상 이름을 붙여 놨다.
3. 왜 “멈추지 마”만으로는 부족했을까
“멈추지 마”는 방향만 알려 준다.
모델에는 여전히 “추가 질문이 결과를 개선할 수 있으면 물어보는 게 친절하다”라는 기본 행동이 남아 있다.
그래서 공식은 행동 단위로 더 구체적으로 지시하라고 권한다.
지시와 지금까지의 대화 내용에서 의도와 범위를 추론하고, 실행 요청이면 “할 수 있습니다”나 계획만 말하고 끝내지 않는다. 시간이나 토큰을 아끼려고 적당히 도움이 되는 부분 결과에서 멈추지 않는다. 읽기, 리뷰, 되돌릴 수 있는 수정, 이미 승인된 작업은 다시 허락을 받지 않는다.
즉,
“멈추지 마”는 정신론이고, 공식 가이드는 정차 금지 구간이 표시된 노선도다.
4. 승인은 입장권이 아니라 마지막 빨간 버튼이어야 한다
공식 가이드에서 가장 실용적인 아이디어는 승인을 마지막으로 보내는 것이다.
사이트를 고치고 공개하는 작업에서 실제 공개만 최종 확인이 필요하다고 하자.
그렇다면 조사, 수정, 빌드, 필요한 테스트, diff 확인까지 먼저 끝내면 된다. 마지막에 “이제 공개만 남았습니다”라고 묻는다.
반대로,
“조사해도 될까요?”
“수정해도 될까요?”
“테스트해도 될까요?”
“한 번 더 테스트해도 될까요?”
이렇게 매 단계에서 멈추면 일이 아니라 도장 투어다.
5. OpenAI는 “테스트를 너무 많이 하는 문제”도 인정했다
Testing and verification 항목도 놀랍도록 익숙하다.
OpenAI는 Astra가 코드 변경을 완료로 판단하기 전에 테스트를 꼼꼼히 하는 경향이 있으며, 작은 작업에서는 필요한 범위보다 더 넓은 테스트로 이어질 수 있다고 설명한다.
한 줄 고친다.
관련 테스트를 돌린다.
통과한다.
“혹시 모르니” 테스트 하나를 더 만든다.
통과한다.
구현을 거의 그대로 복사한 낮은 가치의 회귀 테스트도 추가한다.
또 통과한다.
그런데 원래 작업은 아직 끝나지 않았다.
검사가 품질 관리가 아니라 취미가 됐다.
공식 권장은 변경에 맞춰 검증 규모를 조절하는 것이다. 영향이 작고 되돌릴 수 있는 변경에 구현을 그대로 비추는 테스트를 쓰지 않는다. 의미 있는 테스트와 필수 체크를 실행하고 통과하면, 새 변경이나 실패, 해결되지 않은 우려가 생기지 않는 이상 테스트를 넓히거나 반복하지 말고 완료로 진행한다.
테스트는 목적지가 아니라 출하 전 검사다.
6. “그럼 처음부터 그렇게 만들어”라는 반응은 자연스럽다
공식이 이렇게까지 알고 있다면 “처음부터 자율 실행을 기본값으로 해 줘”라는 생각이 든다.
물론 OpenAI 측에도 이유가 있다. Astra는 작업 경계를 존중하고, 결과를 바꿀 수 있는 중요한 불명확성이 있을 때 집중된 질문을 하도록 설계됐다. 일반 사용자의 애매한 “사이트 좀 고쳐”를 멋대로 공개까지 해석하는 모델도 위험하다.
문제는 사용자가 이미 “끝까지 해”, “되돌릴 수 있는 작업은 진행해”라고 충분히 범위를 줬는데도 매번 보수적으로 멈추는 경우다.
그래서 공식이 더 자율적으로 실행시키고 싶다면 별도 프롬프트를 쓰라고 안내한다.
안전한 기본값은 이해한다.
하지만 파워유저 입장에서는,
“그 Autonomous 스위치를 설명서 구석이 아니라 설정 화면에 달아 줘.”
가 된다.
7. Codex는 ‘풀세트’ 자율 실행 규칙을 그대로 유지한다
Codex처럼 저장소를 읽고, 수정하고, 테스트하고, PR이나 배포 준비까지 오래 달리는 환경에서는 두 줄짜리 규칙으로 부족하다.
그래서 Codex 쪽은 이번에 만든 전체 세션용 풀세트 프롬프트를 그대로 유지한다.
최신 OpenAI 공식 가이드를 다시 확인하고, 실제 $CODEX_HOME, config.toml, AGENTS.md, skills, 전역 지시를 읽는다. developer_instructions 같은 전역 설정을 정본 후보로 삼되 기존 설정을 깨지 않고 중복 없이 통합한다.
그리고 의도·범위 추론, 계획만 말하고 멈추지 않기, 이미 승인된 되돌릴 수 있는 작업 진행, 승인-last, clarification-last, 지시 충돌의 투명성, 중단을 만든 정확한 SKILL.md 식별, 가상 위험 때문에 승인 절차를 새로 만들지 않기, 파괴적·비가역적 작업의 정당한 경계 유지, 필요할 때 subagent 병렬화, 필요한 만큼만 테스트, 적용 surface readback, smoke test, 멱등성, 완료 조건까지 모두 정의한다.
즉 Codex에는 단순히 “달려”가 아니라,
“교통법규 전체와 진짜 빨간불 위치를 주고, 다른 곳에서 멈추면 어느 파일이 시켰는지 제출해.”
라고 한다.
이건 그대로 둔다.
8. ChatGPT 쪽은 반대로 두 규칙이면 충분했다
일상적인 ChatGPT까지 모든 Codex 규칙을 넣을 필요는 없었다.
Markdown은 문제없다.
목록도 문제없다.
세밀한 subagent 규칙도 매번 필요한 건 아니다.
반복해서 짜증 나는 것은 딱 두 가지였다.
요청 범위가 분명한데도 중간 확인으로 멈추는 것.
필요한 검증을 넘어서 테스트를 계속 늘리는 것.
그래서 ChatGPT의 지속 규칙은 이 두 개만 남긴다.
의도와 범위가 충분히 명확하면 실제 안전·권한·비가역 작업 경계가 없는 한 “계속할까요?”로 작업을 쪼개지 않는다.
테스트는 변경에 맞게 필요한 만큼 수행한다. 필요한 체크가 통과했으면 새 변경, 실패, 미해결 우려가 없는 한 반복하거나 증식시키지 않는다.
문제가 없는 곳까지 고치려 들면 규칙 자체가 새로운 소음이 된다.
9. 이건 “Astra 사용량 절약법”보다 “정지 손실 절감법”에 가깝다
SNS에서는 이 가이드를 Astra 사용량 절약 팁으로 소개했다.
방향은 이해되지만 공식의 위치는 모델 행동을 조정하는 Prompting best practices다. 특정 문구를 넣으면 사용량이 몇 퍼센트 줄어든다고 약속하지 않는다.
오히려 자율적으로 끝까지 가면 한 번의 작업에서 더 오래 일할 수도 있다.
대신,
질문 → 사람 답변 대기 → 재개 → 또 질문
이라는 정지 손실을 줄일 수 있다.
그러니 더 정확한 표현은,
같은 계산 자원을 승인 대기가 아니라 완료에 쓴다.
이다.
10. 결론: 자율적으로 진행하고, 필요한 만큼 검사하고, 끝내라
최첨단 AI 운영법을 파고들었는데 결론은 너무 평범했다.
일할 때 매 단계마다 사람을 쳐다보지 마.
검품이 끝났으면 출하해.
Codex에는 교통법규 전체를 준다. ChatGPT에는 이 두 문장만 벽에 붙인다.
그리고 가장 웃긴 점은 이것이 사용자가 만든 비공식 “AI 조련법”이 아니라 상당 부분 OpenAI 공식 가이드에 직접 적혀 있다는 것이다.
AI의 미래를 보러 갔는데 마지막에는 공장장 아침조회가 됐다.
공식 자료
- OpenAI, “Model guidance — Using GPT-6 Astra / Prompting best practices”: https://developers.openai.com/api/docs/guides/latest-model
- OpenAI, “Unrolling the Codex agent loop”: https://openai.com/index/unrolling-the-codex-agent-loop/
