[2부] ISO/IEC 42001, 어디서부터 시작해야 하지?

1부에서는 ISO/IEC 42001을 시작하기 전에 확인해야 할 사전 준비사항에 대해 이야기했습니다. 표준이 어떤 관점에서 AI를 바라보는지 이해하고, 적용 범위를 정하고, 이해관계자를 식별하는 일이 먼저라고 말씀드렸습니다.

그렇다면 실제 준비는 무엇부터 시작해야 할까요?

AI 방침이나 관리 지침을 작성하는 것부터 시작할 수도 있습니다. 또는 AI 윤리 가이드를 만들 수도 있고, AI 위험평가나 영향평가를 먼저 진행할 수도 있습니다.

솔직히 말하면 모두 좋은 출발점입니다. 조직이 가장 자신 있고, 이미 관련 자료와 경험을 가지고 있는 영역부터 시작하는 것이 가장 좋다고 생각됩니다.

하지만 무엇부터 시작해야 할지 모르겠다면, 저는 먼저 조직 안에 존재하는 AI 자산을 식별하고 AI 인벤토리를 구축하는 것부터 시작하기를 추천드립니다.

그렇다면 AI 인벤토리란 무엇인가?

AI 인벤토리(AI Inventory)는 조직이 개발·제공·구매·사용하는 AI 시스템과 AI 활용 사례를 식별하고, 목적, 책임자, 데이터, 연결 관계, 위험 및 운영 상태를 관리하는 체계적인 관리대장입니다.

쉽게 말하면 다음 질문에 답하기 위한 것입니다.

우리 조직에서 어떤 AI가, 어떤 목적으로, 누구의 책임 아래, 어떤 데이터와 모델을 사용하여 운영되고 있는가?

참고로 말씀드리면 ISO/IEC 42001 표준에는 ‘AI 인벤토리’라는 용어가 직접 등장하지는 않습니다. 하지만 부속서 A의 A.4 ‘AI 시스템 자원’에서는 조직이 AI 시스템의 구성요소와 자산, 데이터, 도구, 시스템 및 컴퓨팅 자원, 인적 자원 등을 파악하고 문서화하도록 요구합니다.

조직에서 어떤 AI가 존재하고 사용되는지 알아야 관리 범위를 정할 수 있고, 어떤 AI 자산을 대상으로 위험과 영향을 평가해야 하는지도 결정할 수 있습니다. 이런 의미에서 AI 인벤토리는 ISO/IEC 42001을 실무적으로 시작하기 위한 기초입니다.

다음은 각 단계별로 AI 인벤토리를 어떻게 관리하고 확장해 나갈지 정리했습니다.

1단계: 조직의 AI 자산을 식별한다.

가장 먼저 다음 질문에 답할 수 있어야 합니다.

우리 조직에는 어떤 AI 자산이 존재하는가?

식별 대상은 LLM에만 한정되지 않습니다.

• AI 시스템과 사용 사례: 고객지원 챗봇, 문서 요약, 추천 시스템
• AI 모델: LLM, 임베딩 모델, 자체 개발·파인튜닝 모델
• AI 실행 자원: Agent, App, Chat, Workflow, Automation
• AI 연결 자원: MCP Server, Tool, 외부 API와 SaaS
• AI 지식 자원: Prompt, Knowledge Base, RAG, 벡터DB
• 데이터 자원: 학습·검증·운영 데이터, 문서, 개인정보
• 운영 자원: 클라우드, 데이터베이스, 로그와 모니터링
• 책임 주체: 시스템 소유자, 운영 담당자, 외부 공급자

최근 다양한 Agentic AI와 AI Workflow가 생성되면서 API Key와 Secret도 빈번하게 만들어지고 있습니다. 이 과정에서 미승인·미관리 상태이거나, 더 이상 사용하지 않지만 폐기되지 않은 API Key와 Secret이 남을 수 있으므로 이 또한 식별해야 합니다. 다만 실제 비밀값을 인벤토리에 기록하는 것이 아니라, 어떤 시스템에서 사용하고 누가 관리하며 어디에 안전하게 보관되는지를 관리해야 합니다.

그렇다고 처음부터 모든 자산을 완벽하게 찾아내기는 쉽지 않으며, 모든 것에 대한 식별에 집착하라는 것은 아닙니다. 고객에게 직접 영향을 주는 핵심 AI 시스템이나 주요 제품부터 시작해 점차 범위를 확장해 나가면 됩니다.

2단계: 자산의 관계와 책임을 구조화한다.

자 이제 AI 자산을 식별했다면 다음 단계는 발견한 자산에 관리정보를 부여하고 연결 관계를 구조화하는 것입니다.

단순히 자산의 이름만 등록해서는 실제 AI 시스템의 동작 방식과 위험을 이해하기 어렵습니다. 같은 LLM이라도 여러 Agent와 서비스에서 사용할 수 있고, 하나의 Agent가 여러 데이터, MCP Server와 외부 API에 접근할 수도 있습니다. 따라서 AI 인벤토리에는 자산의 목적, 책임자, 운영 상태, 사용 데이터, 외부 공급자와 다른 AI 자산과의 연결 관계가 함께 기록되어야 합니다.

이를 통해 다음 질문에 답할 수 있어야 합니다.

• 이 AI 자산은 어떤 업무에 사용되는가?
• 누가 소유(Owner)하고 운영하는가?
• 다른 Agent, Model, MCP, Tool과 어떻게 연결되는가?
• 현재 개발·검증·운영·폐기 중 어느 상태인가?

AI 인벤토리의 핵심은 자산을 많이 등록하는 것이 아니라, 각각의 AI 자산이 조직 안에서 어떤 역할을 하고 서로 어떻게 연결되어 있는지를 파악하는 것입니다.

3단계: 자산별 위험과 영향을 평가한다.

AI 자산과 연결 관계가 보이기 시작하면 위험평가와 영향평가의 대상도 구체화됩니다.

예를 들어 같은 MCP Server에서 제공하는 Tool이라도 정보를 조회하는 Tool과 데이터를 생성·변경·삭제하는 Tool은 서로 다른 위험을 가집니다. 공개 문서만 사용하는 Agent와 개인정보가 포함된 데이터베이스에 접근하는 Agent도 같은 수준으로 관리할 수 없습니다.

AI 시스템의 목적, 사용자, 모델, 데이터, 권한, 외부 연결과 잠재적 영향을 바탕으로 위험과 영향을 평가해야 합니다. AI 인벤토리는 이러한 평가를 위한 기초자료가 됩니다.

4단계: 필요한 통제 방안을 결정한다.

위험과 영향을 평가했다면 조직은 그 결과에 맞는 통제 방안을 결정해야 합니다.

외부 시스템의 데이터를 변경하거나 삭제할 수 있는 Tool에는 최소권한, 사용자 승인, 실행 로그, 중요 작업의 이중 확인과 같은 통제가 필요할 수 있습니다.

모든 AI 시스템에 동일한 통제를 적용할 필요는 없습니다. 각 시스템의 목적, 데이터, 권한과 영향 수준에 따라 필요한 통제를 선택해야 합니다.

AI 거버넌스의 목적은 AI 사용을 막는 것이 아니라, 위험을 이해한 상태에서 조직이 책임 있게 사용할 수 있도록 하는 것입니다.

최종적으로 AI Control Tower 로 확장한다.

AI 인벤토리는 한 번 작성하고 끝나는 문서가 아닙니다.

AI의 기술이 하루가 다르게 변화하고 발전하는 것 처럼 기업에서도 그에 발맞춰 새로운 모델이 도입되고, 새로운 Agent와 Workflow가 만들어지며, MCP Server와 외부 AI SaaS가 계속 추가됩니다. 기존 시스템의 데이터, 권한과 연결 관계도 끊임없이 변합니다.

따라서 새로운 AI 자산을 지속적으로 발견하고, 인벤토리를 갱신하며, 변경된 위험과 영향을 다시 평가해야 합니다.

이러한 활동을 한곳에서 지속적으로 수행하는 관리체계가 AI Control Tower입니다.

AI Control Tower는 조직에 존재하는 AI 시스템과 관련 자원을 통합적으로 파악하고, 자산 간 연결 관계와 책임을 관리하며, 위험·영향평가와 통제 의사결정을 지원하는 AI 거버넌스 체계입니다.

AI Control Tower가 모든 AI를 직접 통제하거나 차단한다는 뜻은 아닙니다. 핵심은 조직의 AI 환경에 대한 통합 가시성을 확보하고 다음 질문에 지속적으로 답하는 것입니다.

• 우리 조직에는 어떤 AI가 존재하는가?
• 무엇과 연결되어 있으며 누가 책임지는가?
• 어떤 위험과 영향을 가지고 있는가?
• 어떤 통제가 필요하고 무엇을 우선 개선해야 하는가?

전체 흐름은 다음과 같이 정리할 수 있습니다.

Identify → Inventory → Assess → Govern → AI Control Tower

AI Control Tower는 마지막에 별도로 만드는 하나의 기능이 아닙니다. 자산을 식별하고, 인벤토리로 관리하고, 위험과 영향을 평가하며, 필요한 통제를 결정하는 과정이 반복적으로 운영되는 성숙한 상태입니다.

처음부터 완성된 AI Control Tower는 없습니다. 핵심 AI 자산을 식별하고, 관리할 수 있는 범위에서 인벤토리를 구축한 뒤 평가와 거버넌스 체계를 단계적으로 연결하면서 지속적으로 발전합니다.

QueryPie AIP를 통해, AI 인벤토리를 넘어 AI Control Tower로

조직의 AI 활용 범위가 크지 않다면 문서나 스프레드시트, 기존 자산관리시스템으로 시작해도 됩니다.

하지만 AI 자산이 늘어나고 클라우드, Agent, MCP, Workflow와 외부 시스템 간 연결이 복잡해지면 수작업만으로 최신 상태를 유지하기가 어려워집니다. 정보보호 관리체계를 운영하며 경험했듯이, 관리 대상이 많아질수록 중앙에서 최신 상태를 파악하기 어려워지고 방치되는 자산도 늘어납니다. 이렇게 가시성을 벗어난 자산은 새로운 리스크가 될 수 있습니다.

QueryPie AIP는 이러한 문제를 해결하기 위한 관리체계를 지원합니다. 다양한 클라우드 API를 통해 AI 관련 자원을 자동으로 발견하고, 자동으로 확인하기 어려운 외부 AI SaaS와 기타 자원은 직접 등록해 한곳에서 함께 관리할 수 있습니다.

관리 대상은 LLM에 한정되지 않습니다. AI 시스템, Agent, MCP Server와 Tool, Workflow, Knowledge, 데이터와 외부 API의 연결 관계까지 하나의 인벤토리에서 관리할 수 있습니다.

발견된 AI 자산은 위험평가와 영향평가의 대상으로 연결됩니다. 또한 평가 결과를 바탕으로 최소권한, 사용자 승인, 실행 로그 등 조직이 고려해야 할 통제 가이드를 제공할 수 있습니다.

이를 통해 조직의 AI 관리체계는 단순한 자산 목록을 넘어, 조직의 AI 환경을 한곳에서 조망하고 관리하는 AI Control Tower로 발전할 수 있습니다.

AI 자산을 어디서부터 식별하고, 발견된 자산을 어떻게 관리하고 위험을 평가해야 할지 막막하신가요? 기업의 AX를 추진하고 싶거나, 안전하고 책임 있는 AI 환경을 구축하고 싶거나, ISO/IEC 42001을 어디서부터 준비해야 할지 고민하고 있다면 QueryPie에 문의해 주세요.

QueryPie는 ISO/IEC 42001을 비롯한 다양한 보안 인증을 직접 준비하고 AI 관리체계를 운영하며 축적한 경험을 바탕으로, AI 자산과 이에 연결된 주요 IT·데이터 자산을 통합적으로 관리하고 위험과 영향을 평가하며, 조직의 AI 관리체계가 AI Control Tower로 단계적으로 발전할 수 있는 현실적인 방향을 함께 설계하겠습니다.

---

#QueryPie #ISOIEC42001 #AIInventory #AIControlTower #AIGovernance