도구 호출 증적

AI 도구 호출 로그를 검토 가능한 증적으로 바꾸는 방법

도구 호출 로그는 누가 실행을 허용했고 어떤 작업이 수행됐으며 외부 시스템에 무엇이 바뀌었는지, 기록이 나중에 수정되지 않았는지 답할 수 있어야 증적이 됩니다. 단순 콘솔 로그만으로는 이 기준을 충족하기 어렵습니다.

업데이트

핵심 정리

  • 거부되거나 실패한 시도를 포함해 모든 도구 실행 경계의 전후 이벤트를 구조화해 기록합니다.
  • 민감한 원문 저장과 검증용 표준 필드·무결성 해시를 분리합니다.
  • 재시도, 부분 실패, 지연 전송, 내보내기와 의도적인 필드 변조를 시험합니다.

표준 도구 호출 이벤트를 정의합니다

자유 형식 로그 대신 버전이 있는 스키마를 사용합니다. 실행 ID와 시도 번호, 행위자와 테넌트, 도구 이름과 버전, 표준 작업명, 입력 해시, 권한 판단, 승인 참조, 시각, 결과 상태, 결과 해시, 외부 자원 ID를 포함합니다.

실행 전에는 요청 또는 승인 이벤트를, 실행 뒤에는 완료·거부·실패·결과 불명 이벤트를 기록합니다. 외부 시스템이 요청을 처리했을 가능성이 있는 타임아웃은 단순 실패와 구분해야 합니다.

외부 시스템에서 발생한 결과와 연결합니다

모델 답변만으로는 도구가 실제로 데이터를 바꿨다는 사실을 입증할 수 없습니다. 대상 시스템이 반환한 거래, 메시지, 작업, 문서, 객체 ID와 사용한 서비스 계정 또는 위임 ID를 남깁니다. 가능하면 멱등성 키와 대상 시스템 시각도 함께 기록합니다.

조회 도구는 기밀 문서 전체를 복제하지 말고 출처와 조회 범위를 남깁니다. 변경 도구는 변경 전후 참조나 변경 내용 해시를 포함해 어떤 대상에 영향을 줬는지 확인할 수 있게 합니다.

무결성과 권한 통제를 혼동하지 않습니다

이벤트 필드를 표준화한 뒤 해시합니다. 해시 체인이나 머클 배치는 사후 수정과 누락을 드러낼 수 있고, 루트나 서명된 목록을 별도 위치에 보관하면 검증 경계가 더 분명해집니다. 검증 도구는 필드 변경, 연결 누락, 예상하지 못한 스키마 버전과 신뢰하지 않는 서명을 거부해야 합니다.

무결성은 호출이 적절했다는 뜻이 아닙니다. 권한 규칙과 승인 정책, 최소 권한, 대상 시스템 통제는 별도로 필요하며 증적에는 적용한 정책 ID를 남겨야 합니다.

감사에서 확인할 실패 경로를 미리 시험합니다

권한 거부, 만료된 자격증명, 잘못된 입력, 하위 시스템 타임아웃, 중복 재시도, 부분 완료, 이벤트 지연, 큐 재처리, 내보내기 실패와 보관 만료를 시험합니다. 에이전트 이벤트 수와 대상 시스템 활동을 대조해 증적 누락이 정상 실행처럼 보이지 않게 해야 합니다.

  • 정상 이벤트와 일부 필드를 고친 이벤트를 각각 검증합니다.
  • 중복 전송이 두 번째 증적을 확정하지 않는지 확인합니다.
  • 테넌트 필터가 다른 고객의 조회와 내보내기를 막는지 검증합니다.
  • 검토자와 검토에 사용한 증적 버전을 기록합니다.

참고 자료와 검토 근거

외부 시스템에 영향을 주는 도구부터 검토합니다

도구 목록과 실행 ID, 승인 규칙, 대상 시스템을 알려주시면 필요한 증적 필드와 실패 시험을 함께 정리합니다.

도구 호출 증적 문의