4.5 Data Lakehouse

Data Lakehouse란 Data Lake와 Data Warehouse의 개념을 결합한 것으로, 대용량의 비정형 데이터와 정형 데이터를 효율적으로 관리하고 분석할 수 있는 플랫폼입니다.

---

• Data Lakehouse 배경

  • Data Lake는 데이터의 접근 권한 관리, 동시성, ACID Transaction, 기존 BI 제품들과의 호환성의 지원이 기존 Data Warehouse보다 미비합니다.

  • 결국 Data Lake에서 특정 데이터들을 다시 Data Warehouse로 보내는 상황이 자주 발생됩니다.

  • 이에 Data Warehouse와 Data Lake의 장점들만 가지고 있는 Data Lakehouse라는 개념이 탄생하게 되었습니다.
    
    

• 기능 및 특징

  • 객체 스토리지 기반의 저장소입니다.

  • Data Lake처럼 다양한 타입의 데이터를 수집하고 저장합니다. → delta lake 형식으로 변환

  • Data Warehouse처럼 데이터를 스키마 기반으로 정제 및 구조화할 수 있습니다.

  • 실시간 데이터 처리가 가능합니다.
    
    

• Data Lakehouse 특징 비교

  Data Warehouse vs. Data Lake vs. Data Lakehouse: An Overview of Three Cloud Data Storage Patterns