“AI가 기업 홈페이지 직접 공격한다”…KISA가 ‘AI 해커’를 투입하는 이유

AI가 해킹하고, AI가 막는다… 모의침투에 'AI 에이전트' 첫 투입

KISA, 10월 훈련서 시범 적용… 화이트해커 수동 점검서 '시나리오 자동 생성'으로

상반기 42개 홈페이지서 취약점 147개… 침해사고 신고는 2년째 두 자릿수 증가

관건은 공격력 아닌 통제력… "허용 범위·중단 조건·재검증 체계부터 설계해야"

기업 홈페이지를 공격하는 역할을 인공지능(AI)이 맡는 정부 주도 모의훈련이 다음 달 시작된다. 사람이 정한 취약점을 반복 점검하는 방식을 넘어, AI가 대상별 특성을 분석해 공격 시나리오를 스스로 만들어내는 구조다. 방어의 무게중심이 '정기 점검'에서 '상시 검증'으로 옮겨갈 수 있을지를 가늠하는 첫 실험이다.

■ 10월 19~30일, 4개 분야 실전 훈련

한국인터넷진흥원(KISA)은 과학기술정보통신부와 함께 '2026년 하반기 사이버 위기 대응 모의훈련' 참여 기업을 공개 모집한다고 9월 1일 밝혔다. 훈련은 임직원 해킹메일 대응, 디도스(DDoS) 공격 탐지·대응, 기업 홈페이지 모의침투, 서버 취약점 탐지·대응 등 4개 분야로 구성된다. 모집은 다음 달 2일까지이며, 이번 하반기에는 홈페이지 모의침투에 AI 에이전트가 시범 투입된다.기존에는 화이트해커가 수동으로 점검했으나, 이번에는 AI 에이전트가 홈페이지 특성에 맞는 공격 시나리오를 스스로 도출해 다양한 침투 가능성을 살핀다.

다만 공개된 자료만으로는 AI의 자율 수행 범위와 사람의 승인 단계가 확인되지 않는다. 완전 자율형 'AI 해커'의 도입이라기보다, 모의침투 자동화의 실전 검증 단계로 보는 편이 정확하다.

■ 숫자가 보여준 것: 장비보다 속도

지난 상반기 결과는 이번 결정의 배경을 설명해준다. 5월 11~22일 실시된 훈련에서 임직원의 41.6%가 해킹메일을 열람했고, 12.7%는 첨부파일을 클릭해 악성코드에 감염된 것으로 나타났다. 모의침투에서는 42개 기업 홈페이지에서 취약점 147개가 발견됐다. 홈페이지 한 곳당 평균 3.3개꼴이다. 취약점 탐지 훈련에서는 241개 기업 중 32곳에서 28종의 취약점이, 이 가운데 12개 기업에서는 즉시 조치가 필요한 6종이 확인됐다.

주목할 대목은 반복 훈련의 효과다. 디도스 훈련 재참여 기업은 탐지·대응에 20분이 걸린 반면, 신규 참여 기업은 3배 이상의 시간이 소요됐다. 보안 역량이 장비 보유량이 아니라 '얼마나 빨리 인지하고 움직이는가'의 문제임을 보여주는 수치다.

■ 공격은 이미 자동화됐다

위협 환경은 빠르게 바뀌고 있다. 국내 침해사고 신고는 2024년 1887건에서 2025년 2383건으로 26.3% 늘었다. 2026년 상반기에도 1236건이 접수돼 전년 동기 대비 19.5% 증가했으며, 특히 디도스 공격은 238건에서 373건으로 56.7% 급증했다.

해외 사례는 더 직접적이다. 구글 위협분석그룹(GTIG)은 한 위협 행위자가 자율 정찰 도구와 다중 에이전트 모의해킹 프레임워크를 결합해 취약점 식별과 검증을 자동화한 정황을 확인했다고 밝혔다. 보안기업 시스디그도 AI 에이전트가 목표만 주어지면 공격 시나리오를 동적으로 구성해 전 과정을 수행하는 자동화 랜섬웨어 사례를 보고했다. 방어가 '사람이 하나씩 확인하는' 속도에 머물면 격차는 벌어진다. 경쟁 구도는 이미 'AI 공격 대 인간 방어'가 아니라 'AI를 쓰는 공격자 대 AI를 쓰는 방어자'로 이동했다.

■ 기대와 우려가 동시에

산업계 반응은 대체로 긍정적이지만 조건부다. 숙련 인력이 절대적으로 부족한 상황에서 AI가 반복적 정보 수집과 경로 탐색을 맡으면 전문가는 복합 취약점 검증에 집중할 수 있다. 훈련 빈도를 높이고 비용을 낮출 여지도 생긴다.

반대편의 우려도 뚜렷하다. AI가 찾아낸 '공격 경로'가 곧 실제 취약점은 아니다. 오탐이 많으면 검증 부담이 오히려 늘어난다. 더 근본적인 것은 자율성의 역설이다. 실전 같은 훈련이 되려면 AI에 더 넓은 탐색 권한을 줘야 하지만, 권한이 커질수록 허용 범위를 벗어난 행위나 예상 못 한 시스템 영향의 위험도 커진다. 기업 홈페이지는 내부 DB나 외부 서비스와 연결된 경우가 많아 통제 실패의 파급이 작지 않다.

■ 무엇을 준비해야 하나

첫째, 규칙의 사전 명문화다. 공격 허용 자산, 실행 가능 행위, 중단 조건, 로그 보존, 사람의 승인 지점을 계약과 절차에 못 박아야 한다. 둘째, 평가 지표의 공개다. AI가 찾은 유효 취약점 수, 오탐률, 점검 소요시간과 비용 절감, 통제 이탈 여부를 측정해 공개해야 시범사업이 검증 가능한 정책이 된다.

셋째, 사람의 재검증 절차다. DARPA의 AI 사이버 챌린지에서 탐지율이 37%에서 77%로, 패치율이 25%에서 61%로 오른 핵심은 AI 단독 수행이 아니라 기존 분석 기법과의 정밀한 결합이었다. 넷째, 격차 해소다. 침해사고 신고의 80.4%가 중소기업에서 접수되지만, 중소기업 정보보호 지원 규모는 2023년 1500개사에서 축소돼 왔고, 종업원 10~49인 기업 중 보안 전담 조직을 갖춘 곳은 20%대에 그친다. 자동화의 혜택이 대기업에만 돌아가면 격차는 오히려 벌어진다.

다섯째, AI 자체를 지키는 일이다. 한 보안기업 분석에서는 검토 대상 MCP 서버 1만 개 중 40%에서 취약점이 발견됐다. 기업이 쓰는 AI 에이전트의 권한 관리와 행동 추적이 새로운 보안 영역으로 떠올랐다.

■ 시범사업 이후가 진짜 시험대

임정규 과기정통부 정보보호네트워크정책관은 고성능 AI 등장으로 위협이 심화되고 있다며, 기술적 방어 체계 못지않게 임직원이 직접 경험하는 훈련이 결정적 순간에 힘을 발휘한다고 강조했다.

AI 모의침투의 성패는 AI가 얼마나 잘 공격하느냐가 아니라, 얼마나 안전하게 통제된 상태에서 유효한 취약점을 찾아내느냐에 달렸다. 10월의 실험이 남길 것은 훈련 결과표가 아니라, 자율성과 통제의 균형점을 찾는 국내 첫 데이터일 것이다.