4.2 Data Warehouse

Data Warehouse란 사내에서 발생하는 모든 데이터를 분석용으로 사용하기 위한 저장소입니다.

처음에는 트랜잭션 처리(OLTP)와 분석 query(OLAP)를 동일한 RDB내에서 사용했습니다. 하지만 데이터가 방대해지고 분석 query의 비용이 높아짐에 따라 점차 분석용도의 Database가 분리되었고 이를 Data Warehouse라 부르게 되었습니다. (OLTP, OLAP 세부내용 -> 2.4 데이터 처리방식 알아보기)

트랜잭션 처리용도의 Database에서 Batch 혹은 Stream으로 데이터를 추출(Extract)하여 변환(Transform)하고 이를 적재(Load)하면서 Data Warehouse를 관리합니다.

---

Data Warehouse 구축

• ETL Process

  • Extract : Source Data를 추출하는 단계입니다. 기존에 사용하던 ERP, RDB, File 등에서 Business에 사용하기 위한 데이터 추출합니다.

  • Transform : Source Data 정제 및 가공하는 단계입니다. Data Warehouse에 적재하기 위해 여러 format으로 보관중이던 Source data를 Stuctured Data로 변환하여 데이터의 구조를 통일합니다.

  • Load : Data Warehouse or Target System에 적재하는 단계입니다. 데이터가 Data Warehouse의 스키마에 적합한 형태로 변환되면 이를 적재하면서 Data Warehouse를 지속적으로 갱신합니다.
    
    
    

• Structured Schema
  Data warehouse는 기존의 RDB와 유사하게 스키마를 정의하여 구축하는데, Star Schema, Snowflake Schema를 주로 사용합니다.

  • Star Schema

    • fact 테이블과 dimension 테이블로 구성되어 있습니다.

    • fact 테이블 : 판매액, 주문량, 수익 등 정량적인 값으로 이루어져 있습니다. 주로 하나의 row가 개별 이벤트로 나타냅니다. ex) 제품 구매 기록

    • dimension 테이블 : 장소, 제품, 고객 정보 등 fact 테이블의 정보를 입체적으로 확인하기 위한 값들로 이루어져 있습니다. fact 테이블과 Foreign Key로 참조됩니다.

    • 장점

      1. 쿼리 성능 우수

    • 단점

      1. 정규화 단계가 낮아짐으로서 중복 데이터 발생 가능

    Star Schema Diagram
    

  • Snowflake Schema

    • star schema를 더 정규화한 방식으로서 dimension 테이블을 하위차원으로 더욱 세분화합니다.

    • 장점

      1. 데이터 중복을 줄이며 저장 공간 절약

      2. 데이터를 보다 정확하고 일관성 있게 저장

      3. 데이터를 쉽게 확장하고 변경 가능

    • 단점

      1. 많은 조인으로 인한 쿼리 성능 저하

    Snowflake Schema Diagram
    
    
    
    

• Data Warehouse 기능 및 특징

  1. 중앙 집중화: 다양한 데이터 소스에서 추출된 데이터를 중앙에서 저장하고 관리하기 때문에 데이터의 일관성과 정확성을 유지할 수 있습니다.

  2. 데이터 정제: 데이터를 정제하여 일관된 데이터 품질을 유지할 수 있습니다.

  3. 시간적 분석 (time-series analysis) : 과거 데이터와 현재 데이터를 비교하여 비즈니스 동향을 파악하고 예측할 수 있습니다.

  • ex) AWS RedShift, BigQuery