OWASP GenAI, MITRE ATLAS, NIST AI RMF가 각각 보는 위험
AI 보안은 하나의 체크리스트로 끝나지 않습니다. OWASP GenAI는 애플리케이션 취약점, MITRE ATLAS는 공격 전술과 기법, NIST AI RMF는 조직 차원의 리스크 관리를 봅니다.
OWASP GenAI, MITRE ATLAS, NIST AI RMF의 차이를 정리합니다. Prompt Injection, Data Leakage, Model Abuse와 기업 AI 보안 적용 기준을 설명합니다.
AI 보안 표준이 필요한 이유
AI 보안은 기존 웹 보안, 클라우드 보안, 데이터 보안만으로 충분하지 않습니다. LLM 애플리케이션은 프롬프트, 모델, 데이터, 플러그인, Agent, 외부 도구 호출이 함께 움직이기 때문입니다.
예를 들어 Prompt Injection은 전통적인 SQL Injection과 비슷해 보이지만, 실제로는 모델의 지시 해석 방식과 도구 호출 권한이 함께 얽혀 있습니다. 데이터 유출도 DB 권한 문제뿐 아니라 모델 응답, RAG 검색, 로그 저장 경로에서 발생할 수 있습니다.
그래서 AI 보안 표준은 여러 관점으로 봐야 합니다. OWASP GenAI는 애플리케이션 위험, MITRE ATLAS는 공격자의 전술과 기법, NIST AI RMF는 조직 차원의 AI 리스크 관리를 설명합니다.
기존 보안 기준만으로 부족한 이유
기존 보안 기준은 인증, 권한, 네트워크, 취약점, 로그, 암호화 같은 영역을 잘 다룹니다. 하지만 AI 시스템은 입력과 출력이 비정형이고, 모델이 중간 판단을 하며, 외부 도구를 호출할 수 있습니다.
또한 AI는 데이터의 소비 방식이 다릅니다. 사용자가 질문하면 모델은 문서, 벡터DB, API, 플러그인, 시스템 프롬프트를 조합해 답을 만듭니다. 이 과정에서 어디서 정보가 유출됐는지 추적하기 어려울 수 있습니다.
따라서 AI 보안은 모델을 막는 문제가 아니라 AI 애플리케이션 전체 흐름을 통제하는 문제입니다. 입력, 검색, 모델 호출, 도구 실행, 출력, 로그, 감사가 모두 범위에 들어갑니다.
OWASP GenAI Top 10이 보는 애플리케이션 위험
OWASP GenAI Security Project는 생성형 AI 기술과 LLM 애플리케이션의 보안·안전 위험을 식별하고 완화하기 위한 오픈소스 프로젝트입니다. OWASP Top 10 for LLM Applications는 그중 핵심 위험 목록입니다.
OWASP 관점의 핵심은 애플리케이션 보안입니다. Prompt Injection, Insecure Output Handling, Sensitive Information Disclosure, Excessive Agency처럼 개발자가 설계 단계에서 직접 통제해야 할 위험을 다룹니다.
즉 OWASP GenAI는 AI 서비스를 만드는 개발팀, 보안팀, 플랫폼팀이 바로 점검할 수 있는 실무형 기준에 가깝습니다.
| OWASP 위험 | 의미 | 실무 대응 |
|---|---|---|
| Prompt Injection | 모델 지시를 우회하는 입력 | 시스템 프롬프트 보호, 입력 필터링 |
| Insecure Output Handling | 모델 출력을 검증 없이 사용 | 출력 검증, 코드 실행 차단 |
| Sensitive Information Disclosure | 민감정보가 응답으로 노출 | PII 마스킹, 로그 통제 |
| Excessive Agency | Agent 권한이 과도함 | Tool 권한 최소화 |
| Model Theft | 모델 또는 지식 자산 탈취 | 접근 제어, 사용량 감시 |
MITRE ATLAS가 보는 공격 전술과 기법
MITRE ATLAS는 AI 시스템을 대상으로 한 공격 전술과 기법을 정리한 지식 기반입니다. 기존 MITRE ATT&CK가 일반 사이버 공격 전술을 설명한다면, ATLAS는 AI와 머신러닝 시스템에 특화된 공격 흐름을 다룹니다.
ATLAS 관점에서는 공격자가 어떤 목표를 갖고 어떤 단계로 움직이는지가 중요합니다. 데이터 수집, 모델 접근, 프롬프트 조작, 회피, 모델 추출, 결과 조작 같은 흐름을 공격자 관점에서 볼 수 있습니다.
따라서 MITRE ATLAS는 보안팀이 위협 모델링, 탐지 룰, 모의 공격 시나리오, 보안 관제 기준을 만들 때 유용합니다.
| 관점 | MITRE ATLAS 활용 | 예시 |
|---|---|---|
| 공격 전술 | 공격자의 목적 파악 | 모델 접근, 방어 회피 |
| 공격 기법 | 구체적 행위 정리 | 프롬프트 조작, 데이터 오염 |
| 탐지 | 이상 행위 룰 설계 | 비정상 호출량, 민감 데이터 요청 |
| 훈련 | 레드팀 시나리오 | RAG 우회, Agent Tool 오남용 |
| 대응 | 통제 지점 정의 | Gateway, Guardrails, 감사 로그 |
NIST AI RMF가 보는 거버넌스와 리스크 관리
NIST AI Risk Management Framework는 AI 시스템의 리스크를 조직 차원에서 관리하기 위한 프레임워크입니다. 특정 취약점 목록이라기보다 AI를 신뢰 가능하게 운영하기 위한 리스크 관리 체계입니다.
NIST AI RMF는 AI 리스크를 식별하고 측정하고 관리하는 과정에 초점을 둡니다. 기술적 취약점뿐 아니라 책임, 투명성, 편향, 안전성, 프라이버시, 거버넌스까지 포함합니다.
기업 관점에서는 NIST AI RMF가 AI 보안 정책, 내부 승인 절차, 모델 도입 기준, 리스크 평가, 감사 체계를 만드는 상위 기준이 됩니다.
| NIST AI RMF 관점 | 질문 | 기업 적용 |
|---|---|---|
| Govern | 누가 책임지는가 | AI 거버넌스 조직 |
| Map | 어떤 리스크가 있는가 | 사용 사례별 위험 식별 |
| Measure | 어떻게 측정하는가 | 성능, 편향, 보안 지표 |
| Manage | 어떻게 줄이는가 | 통제, 승인, 모니터링 |
| Review | 어떻게 개선하는가 | 정기 평가와 감사 |
Prompt Injection, Data Leakage, Model Abuse의 차이
Prompt Injection은 모델의 지시 해석을 조작하는 공격입니다. 사용자가 직접 악성 프롬프트를 넣을 수도 있고, RAG 문서 안에 숨겨진 지시가 모델에 주입될 수도 있습니다.
Data Leakage는 민감정보가 의도치 않게 노출되는 문제입니다. 모델 응답, 로그, 벡터DB 검색 결과, Tool 호출 결과, 학습 데이터 재현 등 여러 경로에서 발생할 수 있습니다.
Model Abuse는 모델을 악용하는 행위입니다. 피싱 문구 생성, 악성 코드 보조, 우회 질문, 대량 자동화, 비용 폭주 유발처럼 모델 사용 자체가 공격 수단이 될 수 있습니다.
| 위험 | 핵심 문제 | 주요 통제 |
|---|---|---|
| Prompt Injection | 지시 우회 | 입력 검증, 시스템 프롬프트 보호 |
| Data Leakage | 민감정보 노출 | PII 필터, 마스킹, 권한 확인 |
| Model Abuse | 모델 악용 | Rate Limit, Abuse Detection |
| Tool Misuse | 외부 시스템 오작동 | Tool 권한 최소화와 승인 |
| Cost Attack | 비용 폭주 | Budget, Quota, 토큰 제한 |
기업 보안팀이 세 표준을 함께 보는 방법
세 표준은 경쟁 관계가 아닙니다. OWASP GenAI는 개발과 애플리케이션 보안 체크리스트, MITRE ATLAS는 공격 시나리오와 탐지 관점, NIST AI RMF는 조직의 리스크 관리 체계로 보면 됩니다.
예를 들어 AI 챗봇을 도입한다면 OWASP로 Prompt Injection과 Sensitive Information Disclosure를 점검하고, MITRE ATLAS로 공격자 관점의 우회 시나리오를 만들 수 있습니다. 이후 NIST AI RMF로 책임자, 승인 절차, 평가 지표, 운영 모니터링을 정합니다.
이렇게 역할을 나누면 보안팀, 개발팀, 플랫폼팀, 데이터팀, 리스크 관리 조직이 같은 언어로 AI 보안을 논의할 수 있습니다.
| 표준 | 주요 질문 | 적용 대상 |
|---|---|---|
| OWASP GenAI | 어떤 취약점이 있는가 | 개발팀, AppSec |
| MITRE ATLAS | 공격자는 어떻게 움직이는가 | 보안관제, 레드팀 |
| NIST AI RMF | 조직은 리스크를 어떻게 관리하는가 | 거버넌스, 리스크 조직 |
| AI Gateway | 호출을 어디서 통제하는가 | 플랫폼팀 |
| Guardrails | 입출력을 어떻게 제한하는가 | 보안팀, AI팀 |
AI Gateway, Guardrails, 감사 로그와 연결되는 지점
AI 보안 표준을 실제 시스템에 적용하려면 통제 지점이 필요합니다. AI Gateway는 API Key, 모델 라우팅, Rate Limit, Budget, 감사 로그를 통제하는 위치가 됩니다.
Guardrails는 유해 콘텐츠, Prompt Injection, PII, 정책 위반 응답을 제한하는 역할을 합니다. 특히 민감정보가 포함될 수 있는 고객센터, RAG, 로그 분석 시나리오에서는 차단과 마스킹 정책이 중요합니다.
감사 로그는 세 표준을 연결하는 운영 근거입니다. 누가 어떤 모델을 호출했고, 어떤 정책이 적용됐으며, 어떤 데이터에 접근했고, 어떤 Tool이 실행됐는지 추적할 수 있어야 합니다.
AI Gateway 보안 설계, Bedrock Guardrails PII 정책, LiteLLM Gateway 글과 함께 보면 실제 통제 지점을 더 쉽게 설계할 수 있습니다.
도입 전 점검해야 할 AI 보안 체크리스트
AI 보안 표준을 읽는 것보다 중요한 것은 실제 운영 기준으로 바꾸는 일입니다. 먼저 AI 사용 사례, 데이터 민감도, 모델 Provider, 사용자 범위, Tool 호출 여부를 정리해야 합니다.
다음으로 입력·출력 필터, 모델 접근 권한, RAG 데이터 권한, 로그 보관, 비용 제한, 사고 대응 절차를 점검합니다. 이 항목이 없으면 AI 서비스가 커질수록 보안팀이 통제하기 어려워집니다.
마지막으로 정기 점검 체계를 둬야 합니다. 프롬프트 우회 사례, 민감정보 탐지 결과, 모델 사용량, 비용 폭주, Tool 호출 실패, 사용자 피드백을 반복적으로 검토해야 합니다.
| 점검 항목 | 질문 | 관련 기준 |
|---|---|---|
| 입력 통제 | Prompt Injection을 막는가 | OWASP GenAI |
| 출력 통제 | 민감정보와 위험 응답을 막는가 | OWASP GenAI, Guardrails |
| 공격 시나리오 | 우회와 악용을 테스트했는가 | MITRE ATLAS |
| 거버넌스 | 책임자와 승인 기준이 있는가 | NIST AI RMF |
| 감사 | 호출·정책·데이터 접근 로그가 남는가 | 공통 운영 기준 |
이 글은 OWASP Top 10 for LLM Applications, MITRE ATLAS, NIST AI Risk Management Framework 공식 자료를 기준으로 작성했습니다.
SUMMARY
FAQ
OWASP GenAI와 MITRE ATLAS의 차이는 무엇인가요?
OWASP GenAI는 LLM 애플리케이션 취약점과 개발 보안 체크리스트에 가깝고, MITRE ATLAS는 AI 시스템 공격자의 전술과 기법을 정리한 지식 기반에 가깝습니다.
NIST AI RMF는 보안 표준인가요?
보안만을 위한 표준은 아닙니다. AI 시스템의 신뢰성, 안전성, 프라이버시, 거버넌스, 리스크 관리를 포함하는 조직 차원의 프레임워크입니다.
기업은 세 표준 중 무엇부터 봐야 하나요?
AI 서비스를 만들고 있다면 OWASP GenAI부터 보는 것이 좋습니다. 보안 관제와 레드팀은 MITRE ATLAS, 조직 정책과 리스크 관리는 NIST AI RMF를 함께 봐야 합니다.
AI 보안 표준은 하나만 고르면 되는 문제가 아닙니다. OWASP GenAI는 개발자가 막아야 할 LLM 애플리케이션 위험을 보여주고, MITRE ATLAS는 공격자가 AI 시스템을 어떻게 노리는지 보여주며, NIST AI RMF는 조직이 AI 리스크를 어떻게 관리해야 하는지 설명합니다. 실무에서는 이 세 관점을 AI Gateway, Guardrails, 감사 로그, 권한 관리로 연결해야 합니다.
