데이터 레이크 vs. 데이터 웨어하우스(Data Lakes vs. Data Warehouses)

오늘날의 데이터 중심 세상에서 데이터 사이언티스트들은 방대한 데이터 스트림을 구성할 때 데이터 레이크와 데이터 웨어하우스 의 선택의 기로에 섭니다. 이 블로그에서는 이 두 가지 패러다임을 깊이 있게 살펴보고, 어떤 프로젝트에 어떤 시스템이 맞을지에 대해 알아봅니다.

정의

데이터 레이크 (Data Lakes)

데이터 레이크는 방대한 양의 원시 데이터(Raw Data)를 원래 형식대로 보관하는 저장소입니다. 간단히 말하면, 정형 데이터(관계형 데이터베이스), 반정형 데이터(CSV, JSON), 비정형 데이터(이미지, 비디오, 오디오)의 정제되지 않은 모든 데이터를 저장할 수 있는 거대한 저수지라고 볼 수 있습니다. 따라서, 데이터 레이크는 "스키마 온 리드(schema-on-read)" 방식을 사용합니다. 즉, 데이터를 수집할 때가 아니라 분석하는 시점에 스키마를 정의합니다.

 

주요 장점:

• 확장성 및 유연성: 스키마를 고정시키지 않기 때문에 다양한 데이터 유형과 포맷을 저장할 수 있습니다.
• 비용 효율성: 일반적으로 저비용 저장소 솔루션을 기반으로 구축됩니다.
• 고급 분석 지원: 원시 데이터와 다양한 데이터셋이 필요한 머신러닝, 딥러닝, 탐색적 데이터 분석(EDA)에 이상적입니다.

데이터 웨어하우스 (Data Warehouses)

반면, 데이터 웨어하우스는 대량의 정형화되고 정제 및 가공된 데이터를 분석하고 보고하는 데 최적화된 중앙 집중식 저장소입니다. "스키마 온 라이트(schema-on-write)" 방식을 사용하여, 데이터를 로드하기 전에 데이터 구조를 정의하므로, 보고 및 비즈니스 인텔리전스(BI) 활동의 일관성과 신뢰성을 보장합니다.

 

주요 장점:

• 성능: 사전 정의된 스키마를 사용하기 때문에 빠르고 복잡한 쿼리와 보고를 위한 분석 업무에 최적화되어 있습니다.
• 데이터 품질: 표준화된 형식을 갖춘 고품질의 정제된 데이터를 보장합니다.
• 비즈니스 인텔리전스: BI 도구와 조화롭게 작동하여 신속한 의사 결정과 대시보드 구성을 지원합니다.
•  

업계 표준 도구 및 실제 사례

데이터 레이크 도구

1. Amazon S3 및 AWS Lake Formation: AWS S3는 확장성과 비용 효율성으로 높이 평가받는 객체 스토리지의 업계 표준입니다. AWS Lake Formation은 S3를 기반으로 보안 데이터 레이크 설정 프로세스를 단순화합니다.
   • 사례: 거대 소매 기업이 수 페타바이트의 미가공 고객 상호작용 로그를 S3에 보관하고, 나중에 분석을 위해 이를 정제합니다.
2. Azure Data Lake Storage (ADLS): Azure 분석 서비스와 통합되도록 설계된 확장 가능하고 안전한 데이터 레이크 서비스입니다.
   • 사례: 의료 서비스 제공자가 방대한 환자 기록, 센서 데이터 및 유전체 정보를 저장하여 나중에 인사이트를 추출합니다.
3. Google Cloud Storage 및 Dataproc: Google Cloud Storage는 비정형 스토리지를 제공하며, Dataproc은 빅데이터 처리를 위한 관리형 Spark 및 Hadoop 서비스를 제공합니다.

데이터 웨어하우스 도구

1. Snowflake: 원활한 확장성, 성능 및 다양한 워크로드 처리의 단순함으로 주목받는 클라우드 기반 솔루션입니다.
2. Amazon Redshift: 정형 데이터에 대한 복잡한 쿼리를 처리하는 것으로 유명한 AWS 생태계의 빠른 관리형 데이터 웨어하우스입니다.
3. Google BigQuery: 실시간 분석에 탁월하며 사용한 만큼 지불하는 모델을 제공하는 서버리스 데이터 웨어하우스입니다.

선택 방법: 핵심 고려 사항

1. 데이터 다양성 및 규모: 다양한 데이터 유형과 미래의 예기치 못한 분석을 위해 원시 데이터를 보존하려면 데이터 레이크, 정제된 정형 데이터의 빠른 쿼리를 원하면 데이터 웨어하우스.
2. 분석 속도: 신속한 운영 보고와 대화형 대시보드가 중심이라면 데이터 웨어하우스, 원시 데이터 특성이 필수적인 실험적 분석에는 데이터 레이크.
3. 스키마 요구사항: 시간이 지남에 따라 스키마가 변할 수 있다면 스키마 온 리드(레이크), 엄격한 스키마로 일관성을 강제해야 한다면 스키마 온 라이트(웨어하우스).
4. 비용 고려: 대량의 데이터를 저렴하게 아카이빙하려면 데이터 레이크, 비용이 더 들더라도 비즈니스 분석 성능이 중요하다면 데이터 웨어하우스.
5. 통합 및 생태계: 조직의 기존 클라우드 플랫폼(AWS, Azure, Google 등)과의 시너지를 고려해야 합니다.

전략적 접근

두 방식은 상호 배타적인 것이 아니라, 많은 조직이 데이터 레이크의 유연성과 데이터 웨어하우스의 성능을 결합한 데이터 레이크하우스(data lakehouse) 전략을 채택하고 있습니다. 이 하이브리드 접근 방식은 데이터 과학 이니셔티브를 위한 견고하고 다재다능한 토대를 제공합니다.

결국 선택은 조직 고유의 데이터 유형, 규모, 분석 요구 사항 및 기존 인프라에 따라 달라집니다. 데이터가 계속 성장하고 진화함에 따라 이러한 기술에 대해 정보를 얻고 유연하게 대처하는 것이 데이터 과학 전문가들에게 혁신을 주도할 힘을 실어줄 것입니다.

 

<출처: https://medium.com/stackademic/data-lakes-vs-data-warehouses-29461ee2de3b>