원본을 지키고 다시 만드는 3계층 저장 설계
원본을 훼손하지 않고 Raw Validated Curated 계층을 나누며 같은 입력에서 결과를 다시 만들 수 있는 저장 원칙을 설계할 수 있다.
Raw는 다시 시작할 기준점이다
14회에서 데이터가 어디서 와서 어떤 변환을 거쳤는지 계보로 연결했다. 계보가 있어도 수집 직후 원본을 정제 결과로 덮어쓰면 잘못된 규칙을 되돌리거나 새 기준으로 다시 계산할 출발점이 사라진다. Raw는 수집 당시 상태를 보존하는 계층, Validated는 스키마와 품질 규칙을 통과했거나 격리 상태가 명시된 계층, Curated는 특정 AI와 업무 목적에 맞게 조합한 계층이다. 세 이름 자체가 표준 의무는 아니다. 핵심은 원본과 파생본의 경계를 분리하고 버전 체크섬 변환 코드 실행 기록을 묶어 결과를 다시 만들 수 있게 하는 것이다.
Microsoft의 현재 Medallion Architecture 설명은 Bronze를 원천 형식을 유지하는 원시 미검증 데이터로 두고, 이력이 재처리와 감사에 쓰이도록 보존하는 권고 패턴으로 설명한다. [S1] AWS의 현대 데이터 아키텍처 지침도 외부 원천의 Raw 계층을 보통 1대1 사본으로 다루되 파티션 같은 적재상 물리 배치는 달라질 수 있다고 밝힌다. [S2] 둘은 제품 중립 법칙이 아니라 구현 참고다.
원본 보존은 단순히 파일을 복사하는 일이 아니다. 가능한 경우 수신한 바이트나 이벤트 페이로드를 바꾸지 않고 저장하고, 별도 메타데이터에 원천 시스템, 원천 객체 또는 오프셋, 원천 수정 시각, 수집 시각과 시간대, 수집기 버전, 스키마 식별자, 크기와 체크섬을 기록한다. 압축 해제나 문자 인코딩 변환이 불가피하면 수신본과 변환본을 구분하고 둘의 관계를 14회의 계보로 잇는다.
변경 데이터 캡처에서 현재 행만 복사하면 삭제와 과거 상태를 잃을 수 있다. 파일 교체형 원천에서는 같은 이름의 새 파일이 이전 파일을 가린다. 배치 ID, 이벤트 ID 또는 원천 버전을 멱등 키로 두고 재수집이 중복인지 새 버전인지 판정한다. Raw의 정정은 새 객체나 새 이벤트로 남긴다.
| 저장 계층 | 주요 대상 | 허용 처리 | 완료 기준 |
|---|---|---|---|
| Raw | 수신한 원본 이벤트 파일 스냅숏 | 추가 전용 저장과 수집 메타데이터 부착 | 원천 식별 체크섬 재읽기 가능 |
| Validated | 구조와 공통 품질 규칙을 적용한 상세 데이터 | 검증 표준화 중복 후보 표시 실패 격리 | 검사 버전 통과 상태 원본 참조 |
| Curated | AI 및 업무 목적별 특징셋 코퍼스 집계 | 조인 파생 필터 최소화 목적별 최적화 | 승인된 용도 입력 버전 재생성 가능 |
Raw의 완료 기준은 ‘적재 성공’이 아니라 수집 당시 입력과 수집 맥락을 식별하고 동일한 입력을 다시 읽을 수 있는 상태다. 원천을 그대로 보존할 수 없는 변환은 숨기지 말고 별도 파생 단계로 기록한다.
세 계층은 책임과 변경 권한을 나눈다
Raw는 원천 충실도, Validated는 공통 품질과 구조, Curated는 사용 목적 적합성을 책임진다. Validated에서는 스키마 적용, 형 변환, 중복 후보 식별, 결측과 이상 상태 표시, 시간대와 단위 표준화가 일어난다. 실패 레코드는 조용히 삭제하지 않고 오류 코드, 검사 버전, 원본 참조와 함께 격리한다. 정정 가능한 오류와 실제 희귀 사건을 구분하지 않으면 9회에서 다룬 이상치 오탐이 다시 생긴다.
Curated는 수요예측 특징셋, 고객센터 검색 코퍼스처럼 승인된 사용 목적에 맞춘다. 조인, 파생 변수, 집계, 필터와 접근정책을 적용하되 어느 Raw와 Validated 버전에서 왔는지 역추적할 수 있어야 한다. 하나의 ‘Gold’ 테이블을 모두가 진실로 공유하는 것이 목표가 아니다. 목적과 시점이 다른 데이터 제품은 서로 다른 Curated 버전을 가질 수 있다.
Validated에 직접 수집하거나 Curated 결과를 Raw로 되돌리면 장애 때 경계가 흐려진다. 세 계층을 반드시 다른 저장소에 둘 필요는 없다. 같은 플랫폼 안에서도 네임스페이스, 권한, 쓰기 주체, 보존 규칙과 승격 조건을 분리할 수 있다. 계층 수보다 변경 권한과 실패 데이터의 위치가 중요하다.
Raw Validated Curated는 저장 폴더 이름이 아니라 계약이다. 각 계층마다 입력 허용 범위, 쓰기 주체, 품질 검사, 실패 처리, 버전과 보존 기간, 승인된 소비자를 문서화한다.
불변성과 버전만으로 재처리가 되지는 않는다
NIST SP 800-209는 불변성을 생성 뒤 데이터 변경이나 삭제를 막는 능력으로 설명하고, 백업 복구 아카이빙 복제 스냅숏과 함께 보호 통제로 다룬다. [S5] 예를 들어 Amazon S3 Object Lock은 특정 객체 버전에 보존 기간이나 법적 보류를 적용하는 WORM 기능이다. 새 버전 생성을 막는 기능은 아니며 적용 범위와 권한을 별도로 설계해야 한다. [S6] 제품 기능을 켰다는 사실만으로 복구 가능성이 증명되지는 않는다.
테이블 형식도 파생 데이터의 버전 경계를 돕는다. Apache Iceberg 사양은 데이터와 메타데이터 파일을 쓴 뒤 변경하지 않고 새 메타데이터 커밋과 스냅숏으로 테이블 상태를 추적한다. [S3] Delta Lake 문서는 버전과 Time Travel이 롤백 감사 재현 가능한 ML 실험을 지원한다고 설명한다. [S4] 그러나 스냅숏 보존 정책이 만료되거나 원본 파일이 삭제되면 과거 조회가 불가능할 수 있으므로 스냅숏을 독립 백업과 같은 것으로 보지 않는다.
재처리에는 데이터 외에 코드 커밋, 설정, 스키마, 품질 규칙 버전, 실행 환경, 비밀값이 아닌 외부 의존성 식별자와 실행 순서가 필요하다. 입력 스냅숏과 실행 레시피를 고정하고 새 출력 버전으로 쓰며 기존 성공본을 덮어쓰지 않는다. 재처리 결과가 달라지면 입력 차이, 코드 차이, 비결정적 처리와 외부 참조 변화 중 원인을 비교한다.
- 1 원천 식별source system object event offset와 원천 버전
- 2 수집 시각source modified event time ingested at와 시간대
- 3 무결성크기 체크섬 암호화 상태와 검증 결과
- 4 스키마schema id 형식 인코딩 압축과 변경 상태
- 5 멱등성중복 판정 키 재수집 규칙과 충돌 처리
- 6 품질 게이트검사 세트 버전 통과 실패 격리 코드
- 7 변환 레시피코드 커밋 설정 환경과 처리 순서
- 8 데이터 버전입력 스냅숏 출력 dataset version과 run id
- 9 보호 정책민감도 권한 보존 기간 법적 보류와 삭제
- 10 복구 시험RPO RTO 복원 일시 재처리 결과와 승인자
불변 Raw는 출발점을 지키고 버전 테이블은 파생 상태를 추적하며 백업은 장애 복구를 돕는다. 세 기능은 겹치지만 대체 관계가 아니다. 실제 복원과 재처리를 정기 시험해야 한다.
다온커머스는 취소 지연을 원본부터 다시 계산한다
가상 조직 다온커머스는 주문 DB 변경 이벤트와 매장 POS 일일 파일을 Raw에 추가 전용으로 저장한다고 가정한다. 각 객체에는 `source_event_id`, `source_modified_at`, `ingested_at`, `collector_version`, `schema_id`, `sha256`을 붙인다. 개인정보 원문 접근은 수집 서비스와 승인된 조사 역할로 제한하고 분석가는 Validated 이후의 최소화된 필드를 사용한다. 필드명과 수치는 교육용 예시다.
Validated에서는 주문과 취소 이벤트의 순서를 맞추고 SKU와 매장 키를 검사한다. 아직 대응 주문이 없는 취소는 삭제하지 않고 `LATE_EVENT`로 격리한다. Curated의 `forecast_sales_daily`는 승인된 취소 반영 규칙과 휴무 프로모션 정보를 결합해 예측 입력을 만든다. 모든 출력에 `dataset_version`, `processing_run_id`, 입력 스냅숏과 코드 커밋을 연결한다.
취소 이벤트가 늦게 도착해 지난주 판매량이 과대 계산된 사실을 발견했다고 하자. 기존 Curated 파일을 손으로 고치지 않는다. 영향 기간의 Raw 이벤트와 격리 레코드를 선택하고 수정된 Validated 규칙으로 새 실행을 시작해 Curated 새 버전을 만든다. 기존 모델과 새 모델을 같은 평가 기준으로 비교하고 승인 뒤 소비 포인터만 전환한다. 롤백은 삭제가 아니라 이전 승인 버전으로 포인터를 되돌리는 방식으로 수행한다.
다온커머스의 교육용 완료 기준은 문제 기간의 입력 스냅숏과 실행 레시피를 식별하고 기존 결과를 보존한 채 새 Curated 버전을 만들며 차이 원인을 설명하는 것이다.
보존 삭제 복구 비용을 운영 계약으로 묶는다
원본 보존은 무기한 보관을 뜻하지 않는다. ISO/IEC 5259-3:2024 공개 개요는 분석과 ML 데이터 품질을 생애주기 전반에서 관리하는 체계를, ISO/IEC 5259-4:2024 공개 개요는 이를 지원하는 프로세스 프레임워크를 다룬다. [S7][S8] 공개 개요만으로 구체적 보존 기간이나 준수를 판정할 수 없다. 데이터 분류, 수집 목적, 계약과 법적 의무에 따라 계층별 보존 기간과 승인된 삭제 절차를 정한다.
삭제가 승인되면 현재 뷰에서 숨기는 것과 실제 객체 백업 캐시 파생본을 제거하는 것을 구분한다. W3C PROV-O의 `wasDerivedFrom` 같은 관계는 파생 범위를 찾는 데 도움을 주지만 삭제 실행을 대신하지 않는다. [S9] EU AI Act 2026년 7월 27일 통합본 Article 10은 적용 대상 고위험 AI 시스템 제공자의 데이터 거버넌스에서 수집 과정과 원천, 여러 준비 작업을 다루도록 요구한다. [S10] 모든 AI 프로젝트에 자동 적용되는 의무는 아니므로 관할 역할 적용 시점을 별도 검토한다.
운영 지표는 적재량만 보지 않는다. Raw 수집 누락률, 체크섬 불일치, 격리율과 미처리 시간, 계층별 신선도, 재처리 성공률, 이전 결과와의 차이, 복원 시험 성공 여부, 저장 비용과 삭제 지연을 함께 본다. 12회의 Data Contract에 실패 행동과 책임자를, 14회의 계보에 입력 출력 버전을 연결한다. 최소 분기마다 대표 파이프라인 한 개를 격리 환경에서 복원하고 같은 입력으로 다시 만드는 훈련은 조직이 정할 수 있는 실무 권고다.
보존 정책은 불변 기간만 정하지 않는다. 접근권한 암호화 키 백업 복구 목표 삭제 승인 파생본 추적 비용 한도와 시험 주기를 함께 정해야 원본 보존이 운영 가능한 통제가 된다.
마무리와 다음 회차
원본을 보존하는 구조의 목적은 모든 데이터를 영원히 쌓는 데 있지 않다. 수집 당시 입력을 식별 가능한 상태로 지키고, 검증 실패를 숨기지 않으며, 목적별 파생본을 새 버전으로 만들어 같은 입력에서 결과를 다시 설명하는 데 있다. Raw Validated Curated마다 쓰기 권한 승격 조건 보존과 삭제 규칙을 정하고 버전 체크섬 계보 실행 레시피를 연결하자. 다음 16회에서는 이 세 계층을 가로지르는 스키마 표준화 정규화와 엔터티 통합의 원칙을 설계한다.
다음 16회차 스키마 표준화 정규화 엔터티 통합 2026년 9월 14일
출처 및 읽을거리
확인 기준일: 2026-09-11 KST
- [S1] Microsoft Learn - What is the medallion lakehouse architecture
Locator: Current documentation checked 2026-09-11; Bronze raw original state and history for reprocessing and audit, Silver validation and deduplication, Gold business-ready data; guidance states the pattern is recommended rather than required · 확인일: 2026-09-11 · 제한: 제품 구현 권고이며 표준 의무가 아니다. - [S2] Amazon Web Services - Modern Data Architecture Rationales on AWS
Locator: Current AWS whitepaper checked 2026-09-11; raw layer preserves source-delivered formats and standardized layer applies schema quality and cleansing controls; external raw data is typically a 1:1 copy with possible ingestion partitioning · 확인일: 2026-09-11 · 제한: AWS 중심 권고이며 의무가 아니다. - [S3] Apache Iceberg - Iceberg Table Specification
Locator: Current specification checked 2026-09-11; immutable data and metadata files, atomic metadata swap, committed snapshots, snapshot retention and time-travel semantics; version 4 remains under development · 확인일: 2026-09-11 · 제한: 테이블 사양이며 독립 백업은 별도다. - [S4] Delta Lake - Delta Lake Documentation
Locator: Current documentation checked 2026-09-11; ACID transactions, schema enforcement, batch and streaming, versioning and time travel for rollback audit and reproducible ML experiments · 확인일: 2026-09-11 · 제한: 과거 버전 가용성은 보존 정책에 좌우된다. - [S5] NIST - SP 800-209 Security Guidelines for Storage Infrastructure
Locator: Sections 2.11.5, 4.3.5 and 4.8; immutability prevents alteration or deletion after creation, data protection includes backup archive replication snapshots, retention and affirmative deletion, and restoration should be tested · 확인일: 2026-09-11 · 제한: 저장 보안 지침이며 AI 계층 규정은 아니다. - [S6] Amazon Web Services - Locking objects with Object Lock
Locator: Current documentation checked 2026-09-11; version-specific WORM retention periods and legal holds, governance and compliance modes, new object versions and delete-marker behavior · 확인일: 2026-09-11 · 제한: S3 기능 예시이며 보존 모드는 별도 검토한다. - [S7] ISO - ISO IEC 5259-3 2024 Data quality management requirements and guidelines
Locator: ISO public overview and publication status checked 2026-09-11; data quality management system across analytics and ML data life cycles · 확인일: 2026-09-11 · 제한: 공개 개요만 확인했으며 준수를 판정하지 않는다. - [S8] ISO - ISO IEC 5259-4 2024 Data quality process framework
Locator: ISO public overview and publication status checked 2026-09-11; standardized process framework supporting data quality management and lifecycle processes · 확인일: 2026-09-11 · 제한: 공개 개요만 확인했으며 보존기간은 다루지 않는다. - [S9] W3C - PROV-O The PROV Ontology
Locator: W3C Recommendation; Entity Activity Agent and wasDerivedFrom relation used to connect original and derived dataset versions · 확인일: 2026-09-11 · 제한: 출처 모델이며 저장 통제 기능은 아니다. - [S10] EUR-Lex - Regulation EU 2024 1689 consolidated text 27 July 2026 Article 10
Locator: Article 10 paragraphs 1 and 2; applicable high-risk AI systems data governance addresses design choices, collection processes and data origin, preparation operations and suitability · 확인일: 2026-09-11 · 제한: 적용 대상 고위험 AI 시스템 제공자 관련 조항이다. 구체적 관할 역할 적용 시점은 법률 검토가 필요하다.
'스페셜 브리핑 > AI-Ready Data' 카테고리의 다른 글
| 정제 중복 제거 엔터티 해소 실무 (0) | 2026.09.16 |
|---|---|
| 스키마 표준화 정규화와 엔터티 통합 (0) | 2026.09.14 |
| 데이터를 믿게 만드는 메타데이터 출처 계보 설계 (0) | 2026.09.09 |
| 흩어진 데이터를 AI 자산으로 바꾸는 인벤토리와 카탈로그 (0) | 2026.09.07 |
| 품질 지표를 실패 행동으로 연결하는 Data Contract 설계 (0) | 2026.09.04 |
