jhoon-dev MARKET NOTE
스페셜 브리핑/AI-Ready Data

품질 지표를 실패 행동으로 연결하는 Data Contract 설계

jhoon
반응형
AI Daily Special · Part 2 · 12/36

품질 지표를 실패 행동으로 연결하는 Data Contract 설계

2026년 9월 4일 · 예상 읽기 10분 · Asia/Seoul

사용 목적에 맞는 품질 지표를 정의하고 허용 기준 실패 상태 책임자를 포함한 데이터 계약 초안을 작성할 수 있다.

먼저 결론

지표는 대상 범위 기간 기준값을 함께 적는다

7회부터 11회까지 정확성·완전성·일관성·유효성·최신성, 결측과 이상, 대표성과 슬라이스를 차례로 살폈다. 하지만 측정값만 쌓아서는 운영이 달라지지 않는다. 품질 지표는 무엇을 어떤 식으로 어느 범위와 기간에 측정하는지 밝혀야 하고, 허용 기준은 통과·경고·실패·증거 부족 상태를 실제 행동에 연결해야 한다. 데이터 계약(Data Contract)은 생산자와 소비자가 스키마·의미·품질·변경·실패 대응을 합의한 운영 약속이다. 법률 계약과 같은 효력을 뜻하는 보편 용어는 아니며 조직이 책임과 자동 검사를 명시하는 실무 장치로 이해하는 편이 안전하다.

ISO/IEC 5259-2:2024는 분석과 머신러닝 데이터의 품질을 평가·보고할 수 있도록 데이터 품질 모델과 측정 가능한 특성을 다룬다. [S1] 표준의 존재가 조직별 정답 임계값을 제공한다는 뜻은 아니다. 사용 목적과 오류 비용을 먼저 정하고 그 목적을 관찰할 수 있는 지표로 바꿔야 한다.

완전성 비율을 ‘값이 있는 행 수 ÷ 전체 행 수’로만 쓰면 삭제 대상 행과 선택 입력값까지 분모에 섞인다. 대신 ‘필수 필드가 모두 있는 적격 레코드 수 ÷ 해당 기간의 적격 레코드 수’처럼 대상, 분자, 분모, 제외 규칙, 시간 창을 적는다. 최신성도 수집 시각·이벤트 발생 시각·소비 가능 시각 중 무엇을 기준으로 하는지 지정한다.

정확성은 비교할 승인 기준값이 없으면 직접 측정하기 어렵다. 이때 규칙 일치율이나 중복률을 정확성의 대리 지표로 부르면 해석이 흔들린다. 측정 가능한 유효성·일관성과 아직 검증하지 못한 정확성을 분리하고, 샘플 감사나 골드 데이터처럼 기준을 만드는 비용까지 기록한다. Google의 생산 ML 데이터 검증 연구도 스키마 이상, 예상 밖 패턴, 학습·서빙 왜곡을 지속적으로 탐지하는 별도 검증 체계의 필요성을 보여 준다. [S9]

품질 차원측정식평가 창필수 정의
완전성필수값이 있는 적격 레코드 ÷ 적격 레코드일별·소스별필수 필드와 제외 규칙
유효성형식·범위·업무 규칙을 통과한 값 ÷ 검사값배치별·필드별규칙 버전
최신성기준 시각에서 최신 소비 가능 시각까지의 차이매 실행·소스별시간대와 기준 시각
일관성두 승인 시스템에서 일치한 키·값 ÷ 비교 가능 항목일별·시스템쌍우선 기준 시스템
지표 정의

좋은 지표 문장은 이름 하나가 아니라 대상 데이터와 식, 단위, 측정 위치, 시간 창, 슬라이스, 기준값 출처, 예외 규칙을 함께 가진다.

허용 기준은 위험과 실패 비용에서 역산한다

서비스 수준 지표(SLI)는 서비스 수준을 정량화한 값이고 서비스 수준 목표(SLO)는 그 지표가 도달해야 할 목표값 또는 범위다. Google SRE는 사용자가 중요하게 여기는 결과에서 목표를 정한 뒤 지표를 고르고, 측정 조건과 유효 범위를 명시하라고 설명한다. [S6] 데이터 파이프라인에도 처리 지연, 최신성, 정확성, 누락 같은 SLO를 적용할 수 있다. [S7] 다만 서비스 운영 관행을 그대로 법적 SLA로 부르면 책임 범위가 과장될 수 있다.

임계값은 현재 평균에 선을 그어 정하지 않는다. 품질 저하가 AI 결정에 미치는 피해, 사람 검토로 회복 가능한지, 재수집 비용, 표본 변동성을 함께 본다. 예를 들어 결측 0.5%가 핵심 가격 필드에서 발생한 것과 선택 메모 필드에서 발생한 것은 같은 숫자여도 행동이 달라야 한다.

상태는 최소 네 가지가 유용하다. 통과는 자동 사용, 경고는 사용을 유지하며 원인 조사, 실패는 영향 범위의 자동 처리를 중단하거나 격리, 증거 부족은 표본이나 기준값이 모자라 승인하지 않는 상태다. 목표 99.5%라면 허용 실패량 0.5%를 오류 예산처럼 추적할 수 있지만, 짧은 시간에 예산을 소진하는 사고와 고르게 발생하는 작은 오류는 대응 우선순위가 다르다.

허용 기준

허용 기준에는 숫자뿐 아니라 평가 창, 최소 표본, 경고 구간, 실패 행동, 복구 조건과 재검토일을 붙인다.

데이터 계약은 약속 검사 변경 절차를 묶는다

ISO/IEC 5259-3:2024는 데이터 품질 관리체계의 요구사항과 지침을, 5259-4:2024는 이를 운영 프로세스로 구현하는 틀을 다룬다. [S2][S3] 5259-5:2025는 조직 수준에서 방향과 책임을 정하는 거버넌스 틀을 제공한다. [S4] 측정, 운영, 책임을 분리하지 말고 하나의 관리 흐름으로 연결해야 하는 이유다.

Open Data Contract Standard(ODCS)는 데이터 계약을 기계 판독 가능한 구조로 표현하며 목적, 스키마와 의미, 품질 규칙, 서비스 수준, 팀과 역할, 서버 정보를 포함한다. [S8] 2026년 9월 4일 확인 기준 최신 문서는 v3.1.0을 설명한다. 공개 규격은 구현 선택지이지 모든 조직에 의무인 표준은 아니다.

계약에는 데이터 제품 ID와 버전, 생산자·소비자, 사용 목적과 금지 용도, 필드 정의, 품질 규칙, 최신성·가용성 목표, 측정 위치, 알림·격리·우회 절차, 변경 통지 기간과 호환성 정책을 적는다. 자동화 가능한 규칙은 코드로 실행하되 문서에 있다고 모두 검사되는 것은 아니다. 검사 엔진이 실제로 지원하는 항목과 사람이 승인해야 하는 항목을 구분한다.

운영 계약

계약 파일이 있어도 실패 시 호출할 사람과 소비자 보호 행동이 없으면 운영 계약이 아니다. 검사 결과에서 통지와 제한과 복구 승인까지 이어져야 한다.

다온커머스의 품질 계약 초안

가상 조직 다온커머스는 11회에서 전체 WAPE 12%지만 ‘지방 소형 매장×출시 30일 이내 신상품×주말 프로모션’ 42건의 품절 누락률이 31%라고 가정했다. 이번 회차에서는 그 발견을 주문·POS 데이터 계약의 실패 행동으로 바꾼다. 아래 수치와 역할은 모두 교육용 가정이다.

계약은 매장별 영업일 판매 레코드 완전성을 99.5% 이상, POS 도착 최신성을 영업 종료 후 2시간 이내 99%, 취소 상태 반영을 4시간 이내 99.9%로 둔다. 핵심 슬라이스가 100건 미만이면 성능 통과가 아니라 증거 부족으로 표시한다. 한 매장의 업로드 누락이 1%를 넘으면 해당 매장 발주 추천을 자동 확정하지 않고 사람 검토 대기열로 보낸다.

민호는 생산 파이프라인과 스키마 변경 통지를, 지아는 검사 코드와 영향 슬라이스를, 서윤과 매장 Data Steward는 업무 예외와 재개 승인을 맡는다. 실패 알림에는 위반 지표, 시작 시각, 영향 매장·상품, 우회 상태, 다음 확인 시각을 포함한다. 복구는 지표가 한 번 통과했다고 즉시 선언하지 않고 누락 구간 재처리와 영향 결과 재계산을 확인한 뒤 승인한다.

실패 행동

다온커머스의 핵심 결정은 평균 모델 성능이 아니라 입력 데이터 계약 위반 시 영향 범위만 자동 추천에서 빼고 복구 증거가 갖춰지면 재개하는 것이다.

Part 2 체크포인트와 보관할 결과물

Part 2의 여섯 회차는 품질을 형용사에서 운영 언어로 바꿨다. 7회는 목적에 맞는 품질 차원을 골랐고, 8회는 결측 원인과 처리 판단을 나눴다. 9회는 중복·오류·노이즈·이상치를 원인별로 구분했으며, 10회는 모집단과 사용 환경의 대표성을 확인했다. 11회는 평균을 슬라이스와 최악 성능으로 분해했다.

이번 12회는 그 결과를 한 장의 품질 계약 초안으로 묶는다. 각 지표에는 측정식과 출처를, 각 기준에는 위험 근거와 최소 증거량을, 각 실패에는 자동·수동 행동과 책임자를 연결한다. NIST AI RMF는 측정 방법, 불확실성, 벤치마크, 결과 문서화와 운영 중 재평가를 함께 요구하는 자발적 프레임을 제공한다. [S5]

EU AI Act 제10조는 적용 대상 고위험 AI의 훈련·검증·시험 데이터에 목적에 적합한 거버넌스 관행과 관련성·대표성·오류·완전성 등의 품질 기준을 둔다. [S10] 모든 AI 프로젝트에 같은 법적 의무가 적용되는 것은 아니며 시스템 분류, 사업자 역할, 관할과 적용 시점은 최신 법령과 법률 자문으로 확인해야 한다. 품질 계약은 법률 검토를 대체하지 않는다.

  1. 1 목적과 범위AI 사용 목적, 소비자, 데이터 제품, 금지 용도와 적용 환경
  2. 2 스키마와 의미필드, 자료형, 단위, 키, 결측 의미, 기준 코드와 시간대
  3. 3 품질 지표식, 단위, 측정 위치, 시간 창, 슬라이스와 기준값 출처
  4. 4 허용 기준통과·경고·실패·증거 부족 조건과 최소 표본
  5. 5 실패 행동알림, 격리, 우회, 재처리, 자동 기능 제한과 복구 승인
  6. 6 책임과 지원생산자, 소비자, Owner, Steward, 당직 연락과 응답 시간
  7. 7 변경 관리버전, 호환성, 사전 통지, 승인, 철회와 감사 기록
보관할 결과물

보관할 결과물은 품질 계약 초안이다. 다음 Part에서는 이 계약을 실제 데이터 자산과 연결하기 위해 인벤토리, 카탈로그, 메타데이터와 계보를 구축한다.

마무리와 다음 회차

품질 지표는 계산 가능한 문장이고 허용 기준은 그 값이 어떤 결정을 바꾸는지 정한 경계다. Data Contract는 목적, 스키마, 의미, 지표, 서비스 수준, 실패 행동, 책임과 변경 절차를 생산자와 소비자의 운영 약속으로 묶는다. Part 2에서 만든 품질 차원, 결측·오류 판단, 대표성, 슬라이스 평가가 이 계약의 근거가 된다. 다음 13회에서는 계약할 대상 자체를 찾기 위해 흩어진 데이터를 인벤토리와 카탈로그로 정리한다.

다음 13회차 흩어진 데이터를 찾는 인벤토리와 카탈로그 2026년 9월 7일

출처 및 읽을거리

확인 기준일: 2026-09-04 KST

2026-09-04-ai-ready-data-ep12-quality-contract.pdf
1.6 MB
반응형

'스페셜 브리핑 > AI-Ready Data' 카테고리의 다른 글

데이터를 믿게 만드는 메타데이터 출처 계보 설계  (0) 2026.09.09
흩어진 데이터를 AI 자산으로 바꾸는 인벤토리와 카탈로그  (0) 2026.09.07
평균 성능이 숨기는 실패: 편향·롱테일을 슬라이스로 평가하는 법  (0) 2026.09.02
AI 데이터의 사각지대: 대표성·범위·균형을 점검하는 법  (1) 2026.08.31
중복·오류·노이즈·이상치, 무엇을 지우고 무엇을 남길까  (0) 2026.08.28
이 글이 유용했다면 링크를 공유해 보세요.

MORE TO READ

같은 카테고리의 글

데이터를 믿게 만드는 메타데이터 출처 계보 설계 흩어진 데이터를 AI 자산으로 바꾸는 인벤토리와 카탈로그 평균 성능이 숨기는 실패: 편향·롱테일을 슬라이스로 평가하는 법 AI 데이터의 사각지대: 대표성·범위·균형을 점검하는 법

티스토리툴바