핵심 정리
- 요청자와 권한, 모델 정보, 정책 판단, 도구 호출, 승인과 외부 영향을 하나의 실행 ID로 연결합니다.
- 검증에 필요한 표준 필드는 유지하되 민감한 원문은 마스킹하거나 해시로 대체합니다.
- 감사인이 원본 애플리케이션 밖에서도 무결성을 확인할 수 있도록 해시와 연결 정보, 검토 메타데이터를 내보냅니다.
실행 ID와 권한 경계를 먼저 정합니다
첫 모델 호출 전에 고정된 실행 ID를 부여합니다. 계획 단계, 검색, 도구 호출, 승인, 재시도, 최종 액션은 모두 이 ID와 함께 테넌트, 요청자 또는 서비스, 위임받은 역할을 기록해야 합니다.
사용자가 요청한 내용, 에이전트가 제안한 내용, 정책이 허용한 내용, 외부 시스템이 실제로 처리한 결과를 구분해야 합니다. 그래야 모델의 제안이 완료된 업무로 오인되지 않습니다.
- 행위자, 테넌트, 위임 역할과 인증 정보.
- 에이전트, 모델, 프롬프트 템플릿, 정책과 도구 목록의 버전.
- 실행 ID, 상위 실행 ID, 요청 ID와 외부 거래 ID.
- 시각, 리전, 환경과 이벤트를 생성한 서비스.
도구가 실행되는 경계에서 판단과 결과를 기록합니다
최종 대화 내용만으로는 생성된 의도가 실행 가능한 입력으로 바뀐 순간을 확인하기 어렵습니다. 도구 이름과 버전, 표준화한 인자 또는 해시, 정책 검사, 승인 상태, 시작과 종료 결과, 오류나 결과 해시, 외부 객체 ID를 도구 호출마다 남깁니다.
재시도에는 별도의 시도 번호와 사유가 필요합니다. 그래야 결제나 메시지, 데이터 변경이 서로 다른 판단인지 타임아웃 뒤의 중복 호출인지 구분할 수 있습니다.
민감정보를 줄이면서도 검증 가능성을 유지합니다
감사 로그라는 이유로 비밀번호, 접근 토큰, 개인정보, 검색한 문서 전체를 별도 시스템에 다시 저장해서는 안 됩니다. 식별자와 암호학적 해시는 남기고 비밀정보와 규제 대상 필드, 불필요한 모델 문맥은 제거하는 필드별 정책이 필요합니다.
어떤 마스킹 정책을 적용했는지도 스키마에 기록합니다. 조사 권한이 있는 사용자가 다른 원본 저장소에서 자료를 확인할 수 있다면 감사 로그에는 원본 참조와 접근 결정만 남기는 편이 안전합니다.
독립 검토와 보관 정책을 처음부터 준비합니다
테넌트, 실행, 행위자, 도구, 상태, 기간으로 감사 로그를 조회할 수 있어야 합니다. 내보내기 자료에는 스키마 버전과 체크섬, 연결 순서, 검증 방법을 포함합니다. 삭제 정책은 기본 이벤트뿐 아니라 색인, 내보내기 파일, 백업과 복구 가능 사본까지 같은 기준으로 다뤄야 합니다.
NIST AI RMF 자료도 AI 위험 관리 과정에서 측정과 문서화, 이력과 독립 검토의 중요성을 설명합니다. 실제 통제 범위는 기관 정책과 적용 법률, 에이전트 액션의 영향에 맞춰 결정해야 합니다.
참고 자료와 검토 근거
- 인공지능 위험 관리 프레임워크(AI RMF 1.0)NIST
- AI RMF 플레이북: 측정NIST AI Resource Center
- 에이전트형 AI 평가 프로브 구축NIST