고른 사람이 없는 칸

설비 제어 프로그램이나 자동화 스크립트를 짜는 곳이라면 남의 코드 저장소를 내려받아 열어 보는 일이 흔하다. 그 일을 AI 코딩 도구로 하면 사정이 달라진다. 도구는 무엇을 도울지 판단하려고 저장소 상태를 스스로 조회하는데(git status·git diff), 저장소에 딸려 온 설정 파일에 명령이 심겨 있으면 바로 그때 함께 실행된다.

번호가 붙은 것은 네 건이다

이 결함이 국내 독자에게 뜻하는 것

• 공격은 저장소를 여는 순간 시작된다. 사내 규정이 「AI가 제안하면 사람이 확인한다」로 돼 있어도 그 규정이 닿지 않는 자리다.
• 고쳐진 도구와 안 고쳐진 도구가 섞여 있다. 팀의 안전 수준은 가장 늦게 고쳐진 도구에 맞춰진다.
• 오늘 걸 수 있는 완화책이 있다. 공개 문서는 도구가 git을 부를 때 해당 설정을 꺼 두는 방식(git -c core.fsmonitor=false)을 적었다 — 개발 담당자가 도구 실행 스크립트에 넣는다.

원문은 34쪽짜리 백서다. 앞의 절반은 AI를 방어에 쓰는 스무 건의 실제 사례이고, 뒤로 갈수록 「그래서 어디까지 맡길 것인가」로 좁혀진다. 마지막 장에 그 답이 그림 하나로 들어 있다 — ① 사람이 다 본다 · ② 사람이 승인한다 · ③ 뒤집을 수 있다 · ④ 사람이 없다의 네 칸이다.

칸을 고르는 기준은 성능이 아니다

• 기준이 두 가지뿐이라는 것이 이 그림의 쓸모다. 「이 조치가 잘못됐을 때 얼마나 큰가」와 「되돌릴 수 있는가」만 물으면 칸이 정해진다. 모델이 얼마나 똑똑한지는 묻지 않는다.
• I장의 결함은 이 표로는 설명되지 않는다. 쓰는 쪽은 ②를 쓴다고 여겼고 도구는 ④에서 움직였다. 칸을 고르는 절차 자체가 없었던 것이지 잘못 고른 것이 아니다.

원문은 자율성을 올리면 무엇이 함께 커지는지도 적었다. 크게 세 갈래이고, 셋 다 기존 보안 통제만으로는 다루지 못한다고 못 박았다.

• 들어올 수 있는 곳이 늘어난다 — 에이전트가 새로운 침입 경로를 만들거나 에이전트 자체가 탈취될 수 있다. I장의 결함이 그 예다(3면).
• 의도하지 않은 행동이 번진다 — 환각이나 외부 조작, 잘못 설정된 목표에서 나온 행동이 에이전트가 여럿인 환경에서 기계의 속도로 번진다. 훈련 중이던 에이전트들이 외부 공개 위키를 서로의 연락 수단으로 쓴 사례가 9월 4일 공개됐다(보도 경유).
• 승인 없이 배치된다 — 제대로 된 승인이나 검증 없이 빠르게 배치되고 책임 소재가 분명하지 않다.

자율성과 권한은 다른 눈금이다

원문은 3.3절에서 에이전트가 만들어 내는 위험을 짚은 뒤, 구체적인 통제 수단은 그보다 앞서 2025년 11월에 나온 백서 「AI Agents in Action: Foundations for Evaluation and Governance」에 있다고 적었다. 그 백서는 에이전트를 일곱 개 축으로 나눠 분류했고(이 호는 그 가운데 자율성과 권한 두 축만 쓴다), 둘을 서로 다른 눈금으로 갈라 놓았다.

• I장의 결함은 권한 쪽에서 벌어졌다. 문제는 그 명령이 사용자의 권한 그대로 실행된 데 있었다. 자율성만 조이면 막히지 않는 종류다.
• 2025년 11월 백서는 제로트러스트를 명시했다 — “every agent interaction should be treated as untrusted by default”, 접근을 주기 전에 신원·권한·맥락을 확인하라는 것이다. 남의 저장소를 여는 순간이 정확히 그 자리다.

원문의 네 칸은 조직 안에서 무엇을 맡길지를 정하는 눈금이다. 9월 첫 주에는 그 앞 단계에서 같은 일이 벌어졌다 — 가장 센 보안 기능을 누가 받을 수 있는지, 만드는 쪽이 정하기 시작했다.

앤스로픽 · 같은 모델을 둘로 나눠 냈다

• 회사가 적은 조건은 심사 통과와 「사이버보안·생명과학 제한에 걸리는 업무」 둘이다. 이 방식은 이 호가 다루는 「네 칸」과 층이 다르다 — 칸은 조직이 고르고 이 구분은 만드는 쪽이 고른다.

구글 · 우선 배포라고 적었다

오픈AI는 이틀에 걸쳐 두 번 적었다. 9월 1일에는 새 모델의 능력을 자사 기준의 최고 등급으로 분류하면서 그 능력을 누구에게 줄지를 정했고, 9월 3일에는 그 이용료를 자기가 대겠다고 적었다.

9월 3일 · 10억 달러와 첫 순번

세 곳이 같은 방향으로 간 대목

심사를 거쳐 들어간 쪽이 무엇을 얻었다고 말하는지는 9월 2일 미국 하원에서 한 차례, 참여 기업 자신의 입으로 나왔다. 뉴욕증권거래소 사장이 금융서비스위원회 증언에서, 열두 개 회사 공동 심사 프로그램에 초기부터 참여해 자사 결함을 찾아냈다고 밝혔다 — 건수와 내용은 밝히지 않았다.

그 프로그램은 한 회사의 것이 아니다

• Glasswing은 2026년 4월 7일 출범한 열두 개 회사의 공동 사업이다 — AWS·앤스로픽·애플·브로드컴·시스코·크라우드스트라이크·구글·JP모건체이스·리눅스 재단·마이크로소프트·엔비디아·팔로알토네트웍스.
• 4월 공개 안내에 따르면 심각도 높은 취약점을 수천 건(5월 시점 값은 1만 6,000건 이상 — V장 9면) 찾아냈고 그중 일부는 주요 운영체제와 웹 브라우저 모두에서 나왔다. 크레딧 1억 달러와 오픈소스 보안 단체 기부금 400만 달러가 배정돼 있다.
• 뉴욕증권거래소는 4월 출범 파트너 목록에 없다. 언제 어떤 경로로 합류했는지는 확인하지 못했다.

원문의 사례에서 사람의 자리는 어디였나

원문이 실은 스무 건 가운데 자율성 수준이 드러난 사례를 모아 보면, 사람의 감독 자리를 낱말로 명시한 것은 IBM 하나이고 아람코·ING 사례에는 그 서술이 없다.

9월 3일 글에서 가장 짧고 가장 멀리 가는 문장은 마지막 대목에 있다.

그 글에 적혀 있는 것과 적혀 있지 않은 것 · 2026. 9. 7. 확인 기준 · 각 회사 공개 게시물까지

그사이 국내에서 정해진 것 · 올해 5~8월

• 2026년 6월 22일 — 금융분야 AI 가이드라인 개정본 시행. 일곱 원칙 가운데 하나가 「AI의 보조적 수단성」이라고 보도는 전했다. 보도자료 원문을 대조하지 못했으므로 이 브리프는 그 원칙의 범위를 원문의 칸으로 옮기지 않는다. 같은 보도는 하반기 협의체에서 AI 에이전트 시범운영과 리스크 관리 방안을 검토한다고 적었다.
• 2026년 8월 20일 — 개인정보 보호법 개정안 국회 본회의 통과(보도 경유). AI 개발 목적의 원본 개인정보 활용 특례가 신설됐고 공포 후 6개월 뒤 시행된다.
• 2026년 5월 29일 — 「AI 기반 사이버위협 대응 민간 정보보호 추진계획」(과학기술관계장관회의, 보도 경유). 이 계획은 Glasswing의 1차 보고서(IV장 8면의 열두 개 회사 공동 사업)를 인용했다 — 취약점 1만 6,000건 이상 가운데 국내 영향이 확인된 것이 두 건이라는 내용이다. 1만 6,000건은 국내 제품을 표적으로 모은 것이 아니므로 두 건을 국내 노출의 총량으로 읽지 않는다. 중소기업 몫으로는 진단 도구 무료 배포와 소프트웨어 자재명세서(SBOM) 기술지원을 담았다.

9월 첫 주의 프로그램들이 보안 자원이 부족한 방어자를 첫 순번으로 지목한 것은 우연이 아니다. 원문은 넉 달 전에 그 격차를 적어 두었다.

원문이 든 숫자들

원문이 중소기업 앞으로 따로 적어 둔 네 가지

원문은 도입 절차를 다룬 장(원문 차례의 2장)의 네 절마다 「SME tip」 상자를 하나씩 달았다. 큰 조직의 방법을 줄여 쓰라는 것이 아니라 순서를 다르게 하라는 내용이다.

원문이 인용한 값은 모두 국제 조사에서 온 것이다. 국제 값에는 규모별로 나뉜 수치가 없고 국내 조사에는 있다 — 아래 표는 항목과 모집단이 다르므로 각 열을 따로 읽는다.

예산을 세우지 않은 이유 가운데 하나

• 예산을 편성하지 않은 기업이 든 사유에서 「어떤 활동이 필요한지 모르겠다」가 33.4%였다 — 「우리 사업은 정보보호와 무관하다」(37.0%) 다음으로 많다.
• 이 대목이 원문의 표가 쓰이는 자리다. 예산을 세우지 않은 기업의 33.4%가 무엇을 해야 할지 모른다고 답했다면, 자율성을 네 칸으로 나눈 표는 그 회사들이 오늘 바로 쓸 수 있는 도구가 된다(II장 4면).

같은 무렵 국내에서 시행된 시행령

2026년 7월 21일 시행된 인공지능 기본법 개정 시행령은 권리·안전에 큰 영향을 주는 AI(고영향 인공지능)를 들여올 때 영향을 미리 따져 보게 했고, 거기 반영할 「인공지능취약계층」 열한 가지에 중소기업 재직자를 넣었다고 보도는 전했다. 국제 조사가 「작은 조직이 뒤처진다」로 적은 자리를, 국내 법령은 다른 갈래(보호 대상)에서 다루고 있는 셈이다.

원문은 이 선택을 여덟 갈래로 나눠 비교한 표를 실었다. 두 길 가운데 하나를 고르기 전에 여덟 항목 중 어느 것이 그 회사에 무거운지부터 정하라는 쓰임이다. 원문은 실제로는 많은 조직이 둘을 섞어 쓴다고 함께 적었다.

이 표를 도내 중소 제조기업에 견주어 보면

• 「자료 통제권」 항목이 설비·공정 자료에서 무겁게 걸린다. 도면·레시피·불량 이력은 밖으로 나가면 되돌릴 수 없는 자료다. II장의 기준을 그대로 옮기면 되돌릴 수 없는 쪽이고, 그래서 사 올 때는 자료가 어디에 남는가가 값보다 먼저 오는 항목이 된다.
• 「인력」 항목은 원문의 SME 조언과 짝을 이룬다. 사내에 보안 전담이 한두 명인 회사에서 직접 만드는 길은 사실상 닫혀 있다. 원문이 소수 인원 교육과 지금 쓰는 도구의 기능부터 보라고 적은 이유가 그 항목에 있다.
• 「어디에 맞나」 항목이 판정 문장이다. 보안은 대부분의 제조기업에서 보편 도구 쪽에 가깝다. 이 항목을 그대로 적용하면 판정이 사 오는 쪽으로 기운다 — 원문 자신은 많은 조직이 둘을 섞어 쓴다고 함께 적었다. 직접 만드는 것은 그 회사만의 공정 지식이 걸릴 때다.

AI 도구가 사람의 승인 없이 무언가를 실행하는 구조는 이미 개발·생산·조달 현장에 들어와 있고, 도내 기업은 서 있는 자리에 따라 걸리는 대목이 다르다.

도내 산업 구성에서 특히 걸리는 자리

국내 기관이 낸 대응 문서가 이미 있다

• 과학기술정보통신부·한국인터넷진흥원 「AI 보안 위협 대응 매뉴얼」(2026. 7. 8., 보도 경유)은 위협을 데이터·모델·에이전트·공급망·고성능 시스템 다섯 범주로 나누고 제조·에너지 등 여덟 개 분야별 대응책을 붙였다.
• 밖에서 나온 결과는 이미 국내 문서를 거쳐 들어와 있다(V장 9면). I장의 결함은 그 「공급망」에 들어간다 — 외부 코드가 실행 경로를 여는 형태다. 매뉴얼 원문은 이 브리프가 대조하지 못했다.

AI 도구를 들여와 쓰는 기업의 점검표

소프트웨어를 만들거나 납품하는 기업의 점검표