AI가 해킹한다? 보안 담당자라면 지금 당장 알아야 할 '신뢰 가능한 자동화' 전략
"우리 회사 보안팀이 AI를 도입했는데, 정작 AI가 뚫리면 어떻게 되는 건가요?" 최근 보안 담당자들 사이에서 가장 많이 오가는 질문입니다. 방어용으로 쓰려던 AI가 동시에 공격자의 무기가 될 수 있다는 불편한 현실이 본격적으로 수면 위로 올라오고 있습니다.
지난 6월 9일, 국내 최대 정보보호 컨퍼런스 GSS(Global Security Summit) 2026에서 한국IBM 나병준 실장이 무대에 올랐습니다. 발표 제목은 "AI 보안 위협, 신뢰 가능한 자동화로 대응해야". 단순한 기술 소개가 아니었습니다. 실제 공격 패턴이 어떻게 바뀌고 있는지, 그리고 조직이 지금 무엇을 해야 하는지를 구체적으로 짚었습니다. 이 흐름을 무시하면 6개월 뒤 후회할 수 있습니다.
왜 지금 AI 보안이 판을 바꾸고 있나
2025년까지만 해도 보안 업계에서 AI는 주로 "방어 측의 도구"로 이야기됐습니다. 이상 트래픽 탐지, 악성코드 패턴 분류, 위협 인텔리전스 자동화. 이쪽 활용은 어느 정도 성숙 단계에 접어들었습니다.
그런데 2026년 들어 흐름이 뒤집혔습니다. 공격자들이 생성형 AI를 활용해 피싱 이메일의 품질을 급격히 끌어올리고, LLM을 악용한 소셜 엔지니어링 자동화, AI 에이전트를 이용한 침투 경로 탐색까지 현실화됐습니다. IBM의 X-Force 위협 인텔리전스 보고서에 따르면, AI를 활용한 공격의 성공률이 기존 방식 대비 유의미하게 높아지고 있습니다. 더 무서운 건 공격 준비 시간이 극적으로 단축되고 있다는 점입니다.
나병준 실장이 강조한 핵심은 이것입니다. "AI가 보안 도구로 들어오는 순간, AI 자체가 새로운 공격 표면이 된다." 자동화를 도입할수록 그 자동화 파이프라인의 신뢰성을 검증하지 않으면, 오히려 내부에서 무너지는 구조가 만들어진다는 경고입니다.
GSS 2026에서 나온 핵심 사례: 자동화의 역습
실제로 이 전략을 적용한 사례를 보겠습니다. 나병준 실장이 발표에서 제시한 시나리오는 다음과 같습니다.
한 금융기관이 SOC(보안관제센터) 운영 효율을 높이기 위해 AI 기반 자동 대응 시스템을 도입했습니다. 이상 징후 탐지 → 티켓 생성 → 초동 격리 조치까지 자동으로 처리되도록 설계된 구조였습니다. 도입 초기에는 탐지 속도가 빨라지고 대응 시간이 줄어 성공 사례로 평가받았습니다.
그런데 공격자는 이 자동화 흐름을 역으로 분석했습니다. AI 탐지 로직이 특정 패턴에 반응하는 임계값을 파악한 뒤, 탐지를 회피하면서 동시에 자동화 시스템 자체를 혼란에 빠뜨리는 방식으로 공격을 구성했습니다. 대량의 오탐(False Positive)을 인위적으로 유발해 보안팀의 주의를 분산시키는 사이, 실제 공격이 진행됐습니다. 자동화가 오히려 방패가 아닌 소음 발생기가 된 셈입니다.
이 사례가 중요한 이유는, 자동화 자체의 문제가 아니라 "검증되지 않은 자동화"가 문제라는 점을 보여주기 때문입니다. 나 실장은 이를 "자동화 파이프라인의 신뢰 체계 부재"라고 표현했습니다.
신뢰 가능한 자동화란 무엇인가
그렇다면 한국IBM이 제시하는 '신뢰 가능한 자동화(Trusted Automation)'는 어떤 개념일까요?
핵심은 세 가지 원칙으로 요약됩니다.
첫째, 자동화 결정에 대한 설명 가능성(Explainability). AI가 어떤 근거로 어떤 판단을 내렸는지 추적할 수 있어야 합니다. 블랙박스 구조의 자동화는 사고 발생 시 원인 분석도, 책임 소재도 불분명해집니다. IBM은 이를 위해 모든 자동화 의사결정 로그를 구조화하고, 이상 판단의 근거 피처(feature)를 가시화하는 설계를 권장합니다.
둘째, 인간 감독 포인트(Human-in-the-loop)의 전략적 배치. 모든 자동화에 사람이 개입할 수는 없습니다. 하지만 위험도가 높은 결정, 예를 들어 계정 차단, 시스템 격리, 데이터 접근 차단 같은 조치에는 반드시 인간 승인 단계를 두어야 합니다. 속도와 신뢰성 사이의 균형을 의도적으로 설계해야 한다는 의미입니다.
셋째, 자동화 시스템 자체에 대한 지속적 감사(Continuous Audit). 보안 자동화 파이프라인도 공격 대상이 될 수 있다는 전제 하에, 해당 시스템의 무결성을 주기적으로 검증해야 합니다. 나 실장은 "자동화 시스템을 도입했다고 보안이 강화된 것이 아니라, 새로운 취약점 영역이 추가된 것"이라고 직접적으로 표현했습니다.
지금 당장 실행할 수 있는 3단계 점검 전략
이 내용이 대기업 얘기로만 들리면 안 됩니다. 중소 규모 조직, 심지어 스타트업이나 1인 IT 운영 환경에서도 적용할 수 있는 현실적인 체크리스트입니다.
1단계: 현재 쓰고 있는 자동화 도구의 결정 흐름을 문서화하세요. ChatGPT API, Copilot, 자동화된 알림 시스템 등 어떤 AI 도구든 "이 도구가 어떤 기준으로 무엇을 결정하는가"를 한 장 짜리 흐름도로 그려보는 것에서 시작합니다. 이 작업만으로도 검증되지 않은 자동 판단이 어디에 숨어있는지 발견할 수 있습니다.
2단계: 고위험 자동화 액션을 분류하고, 인간 승인 단계를 추가하세요. 단순 알림이나 로그 집계는 자동화해도 됩니다. 하지만 외부 시스템에 접근하거나, 데이터를 수정·삭제하거나, 사용자 권한에 영향을 주는 자동 액션은 실행 전 확인 단계를 넣는 것이 원칙입니다. Slack 봇 하나라도, 중요한 명령을 자동 실행하도록 구성돼 있다면 지금 당장 점검해야 합니다.
3단계: AI 자동화 도구를 공격자 시선으로 한 번 바라보세요. "이 자동화 흐름을 악용하려면 어떻게 할까?"를 질문해 보는 겁니다. 입력값을 조작하거나, 대량의 오탐을 유발하거나, API 키를 탈취하면 어떤 일이 벌어질지 시뮬레이션해보는 간단한 위협 모델링만으로도 취약 지점을 상당수 발견할 수 있습니다. IBM은 이를 "Adversarial Thinking을 자동화 설계 단계에 포함시켜야 한다"고 표현합니다.
AI 보안 시장의 방향과 시사점
GSS 2026 전체 흐름을 보면 하나의 키워드가 반복됩니다. "Zero Trust는 이제 AI에도 적용돼야 한다." 네트워크와 사용자에게만 적용하던 제로 트러스트 원칙, 즉 "기본적으로 신뢰하지 않고 모든 것을 검증한다"는 철학이 AI 시스템 자체에도 요구되기 시작했습니다.
나병준 실장의 발표는 이 변화를 기술적 대응 과제가 아니라 조직 문화와 운영 구조의 문제로 접근했다는 점에서 인상적이었습니다. 도구를 바꾸는 것만으로는 부족합니다. 자동화를 도입하는 팀이 "이 자동화가 얼마나 신뢰할 수 있는가"를 지속적으로 묻는 문화가 있어야 한다는 것입니다.
한국 기업 환경에서 특히 주목해야 할 부분이 있습니다. 많은 조직이 보안 인력 부족을 이유로 AI 자동화를 빠르게 도입하고 있지만, 도입 속도에 비해 해당 시스템을 감사하고 검증하는 체계 구축은 뒤처지고 있습니다. "자동화 = 보안 강화"가 아니라, "검증된 자동화 = 보안 강화"라는 인식 전환이 필요한 시점입니다.
AI 보안 위협은 앞으로 더 정교해질 것입니다. 방어 측이 AI를 도입하면 공격 측도 더 똑똑한 AI로 대응합니다. 이 군비 경쟁에서 살아남는 조직은 가장 비싼 도구를 가진 곳이 아니라, 자신의 자동화 시스템을 가장 잘 이해하고 신뢰를 설계한 곳이 될 것입니다.
댓글