Data Warehouse vs Data Lake

Data Warehouse vs Data Lake

데이터 레이크와 데이터 웨어하우스는 모두 대규모 데이터를 저장하고 분석하는데 사용되는 데이터 스토리지 방식이다. 전문가들은 데이터 레이크와 데이터 웨어하우스를 명확히 알고 적절하게 잘 구성, 융합하고 활용할 줄 아는 기업이 향후 경쟁력을 갖춘 기업이 될 것이라고 한다.

Data Warehouse

Data Warehouse의 등장

데이터베이스 아키텍처는 여러가지 요구사항에 대한 기술적 제약과 함께 진화하면서 계속하여 혁신을 거듭해 왔다. 우리가 비교하고 있는 3가지 스토리지 방식 중에서 가장 먼저 등장한 것은 OLAP(Online Analytical Processing) 시스템의 데이터 웨어하우스 였다.

Data Warehouse란?

데이터 웨어하우스는 조직의 여러 Source 데이터에서 추출된 데이터를 중앙 집중식으로 저장, 통합, 관리하고 BI 작업 및 의사결정에 활용하기 위한 데이터베이스 시스템이다.

데이터 웨어하우스 출현의 주요 동기는 데이터를 운영 시스템에서 분석 처리 지원 시스템으로 변환하여 RDBMS의 일관성 없는 데이터를 해결하는 데 있었다. 그리하여 데이터 웨어하우스는 비즈니스 운영에 대한 기본 신뢰 소스 데이터로 간주된다.

Architecture

표준 데이터 웨어하우스는 위와 같은 아키텍처를 가지고 있다.

Data source의 원시 데이터 형식이 비즈니스 모델과 정해진 스키마에 맞게 변환되어 데이터 웨어하우스에 적재된다. 적재된 데이터 웨어하우스의 데이터는 데이터 마트라고 하는 데이터 웨어하우스의 하위 집합으로 전문적인 분석 요구 사항을 충족할 수 있다. 이로 인해 데이터 웨어하우스는 비즈니스에 최적화된 스키마대로 데이터를 체계적이고 효율적으로 저장하여 보고서, 대시보드 및 분석을 더욱 강화시킬 수 있다. 또한 데이터 웨어하우스는 I/O를 최소화 하여 쿼리 결과를 여러 사용자들에게 동시에 더 빠르게 전달할 수 있다.

특징

• 중앙 집중식 데이터 저장소 : 데이터 웨어하우스는 조직의 여러 Source 데이터에서 추출된 데이터를 중앙 집중식으로 저장한다. 이를 통해 데이터 접근 및 관리가 용이해지며, 데이터의 일관성과 통합성을 확보할 수 있다.

• 주제별, 시간별 데이터 저장 : 데이터 웨어하우스는 고객정보, 재고정보 등의 주제별로 구분하여 데이터를 저장하고, 과거부터 현재까지의 데이터를 저장하며, 새로운 데이터가 추가될 때마다 업데이트를 한다.

• BI(Business Intelligence) : 데이터 웨어하우스는 주로 데이터 분석을 통해 조직 내부의 비즈니스 프로세스를 개선하고 의사결정을 지원하는 목적으로 사용되므로, 조직 내부의 의사결정과 비즈니스 프로세스 개선에 큰 도움을 준다.

• 빠른 쿼리 처리 : 데이터 웨어하우스는 빠른 데이터 처리를 통하여 조직 내부의 의사결정 속도를 높이는 데 큰 도움을 준다.

한계점

결론적으로, 데이터 웨어하우스는 데이터의 품질과 일관성을 제공하는데 강점을 가지고 있다. 또한 ACID 준수로 고품질의 신뢰할 수 있는 데이터 분석 및 BI가 가능하다. 하지만 아래와 같은 한계점이 있다.

• 비정형 데이터의 처리 어려움 : 데이터 웨어하우스는 전통적으로 정형화된 데이터를 처리하는 데 최적화되어 있으며 비정형 데이터를 처리하는 데는 한계가 있다.

• 데이터 스키마 변경의 문제 : 데이터 웨어하우스는 데이터 스키마가 변경되면 해당 스키마의 모든 데이터를 재적재 해야한다. 이는 시간과 비용이 많이 드는 작업이며, 데이터 웨어하우스에서는 이를 자주 수행하기 어렵다.

• 실시간 처리 어려움 : 데이터 웨어하우스는 일괄 처리(Batch processing)를 기반으로 하며, 데이터 업데이트 및 쿼리 결과 반환에 일정한 시간이 소요된다. 이는 실시간 처리가 필요한 경우 데이터 웨어하우스에서는 한계가 있다.

  
  

Data Lake

Data Lake의 등장

데이터 웨어하우스가 등장한 이후 2000년대 초반에 클라우드 컴퓨팅 및 스토리지의 혁신으로, 여러 컴퓨터가 하나로 작동하여 컴퓨팅 및 스토리지를 수평으로 확장할 수 있는 Hadoop의 도입 덕분에 데이터 레이크가 등장하였다. 이로 인해 향후 분석을 위해 엄청난 양의 데이터를 다양한 형식으로 저장할 수 있게 되었다.

Data Lake란?

데이터 레이크는 다양한 종류의 데이터를 대규모로 저장하고, 빠르게 분석하여 인사이트를 도출할 수 있는 환경을 제공한다. 데이터레이크는 기존의 데이터 웨어하우스와 달리, 데이터의 형태와 구조를 미리 정의하지 않고 대량의 정형, 비정형 데이터를 수집/저장하며, 필요에 따라 형태와 구조를 지정할 수도 있다. 이러한 데이터는 여러 시스템에서 발생한 다양한 형태의 데이터이므로 데이터의 형식, 구조, 용도 등이 서로 다를 수 있다. 데이터 레이크는 데이터 사이언스, 머신러닝, 인공지능 등의 분야에서 널리 사용되고 있으며, 기업에서는 BI, 마케팅, 고객 분석, 로그 분석 등의 다양한 분야에서 활용된다.

Architecture

Data source에서 원시 데이터는 형태 그대로 데이터 레이크에 저장되지만 위 그림에서 볼 수 있듯이 나중에 데이터 웨어하우스에서 테이블 형식으로 처리 및 저장된다. 데이터 웨어하우스에 저장된 데이터는 데이터 분석 및 BI에 사용되는 반면, 반정형 및 비정형 데이터는 데이터 레이크에 저장되어 데이터 사이언스 및 기계 학습에 사용된다.

특징

• 다양한 데이터 유형을 수용 : 데이터 레이크는 대규모의 정형화되지 않은 데이터와 비정형 데이터를 수집하고 저장할 수 있어, 다양한 데이터 유형을 유연하게 수용할 수 있다.
• 실시간 데이터 처리 : 데이터 레이크는 대량의 데이터를 즉시 저장하고 분석할 수 있어, 실시간으로 데이터 처리와 분석이 가능하다.
• 데이터 저장 비용 절감 : 데이터 레이크는 대용량 데이터 저장을 위한 비용이 상대적으로 적게 들어가므로, 데이터 저장 비용을 절감할 수 있다.
• 높은 확장성 : 데이터 레이크는 분산 아키텍처를 기반으로 하여, 데이터 양이 증가해도 확장이 용이하다.
• 데이터 분석의 다양성 : 데이터 레이크는 다양한 형태와 구조의 데이터를 저장하고 분석할 수 있어, 다양한 분석 결과를 도출할 수 있다.

한계점

• 데이터 품질 관리의 어려움 : 데이터 레이크는 다양한 유형과 소스의 데이터를 수집하기 때문에, 데이터의 품질을 일관되게 관리하는 것이 어려울 수 있다. 또한 데이터 웨어하우스와 달리 데이터의 스키마가 유연하게 관리되기 때문에, 데이터의 무결성과 일관성 유지가 어려울 수 있다.
• 데이터 검색 및 분석의 어려움 : 데이터 레이크는 비정형 데이터를 포함하여 대규모의 데이터를 수집하는 것이 가능하지만, 이를 검색하고 분석하는 것은 어려울 수 있다. 데이터 웨어하우스에서는 사전에 구조화된 데이터를 이용하여 쉽게 쿼리하고 분석할 수 있지만, 데이터 레이크에서는 비구조화된 데이터를 구조화하여 사용해야 하기 때문이다.
• 보안 및 규정 준수 문제 : 데이터 레이크는 다양한 유형과 소스의 데이터를 수집하기 때문에 보안 및 규정 준수 문제가 발생할 수 있다. 데이터 레이크에서는 데이터에 대한 액세스 권한 및 감사 추적을 적용하기 어렵다. 또한, 데이터의 구조가 유연하게 관리되기 때문에, 데이터의 무결성 및 일관성 유지가 어려울 수 있다.
• 데이터 처리 및 분석 시간의 지연 : 데이터 레이크에서는 데이터의 구조가 유연하게 관리되기 때문에 데이터 처리 및 분석 시간이 더 길어질 수 있다. 이에 반해 데이터 웨어하우스에서는 데이터를 미리 구조화하여 저장하기 때문에, 데이터 처리 및 분석 시간이 더 빠를 수 있다.
• 인프라 관리 비용의 증가 : 데이터 레이크는 대규모의 데이터를 처리하고 저장하기 위한 인프라를 구성해야 하기 때문에, 인프라 관리 비용이 증가할 수 있다. 데이터 웨어하우스와 비교하여 초기 구성 비용은 낮지만, 데이터 양이 증가할수록 인프라 관리 비용이 증가할 수 있다.

Recent Data Architectures

오늘날까지 데이터 웨어하우스와 데이터 레이크는 서로 다른 비즈니스 요구 사항에 따라 많이 쓰이고 있다. 하지만 앞에서 말했듯이, 데이터 웨어하우스는 빠른 비즈니스 분석 및 세분화된 데이터 거버넌스를 가능케 하지만, 페타바이트 단위 이상의 데이터에 대한 확장성이 부족하다. 데이터 레이크는 높은 처리량을 가능케 하지만, 그만큼 관리비용이 많이 들어 데이터 거버넌스 측면의 문제가 있다. 또한 데이터 레이크의 데이터의 변경 및 활용을 위해 추가적인 통합 작업이 필요할 때도 있다.

이렇듯, 데이터 관리와 분석에 대한 다양한 새로운 요구사항과 기술들이 출현하면서, 기존의 데이터웨어하우스와 데이터레이크라는 개념만으로는 이를 충족시키기 어려워 졌다. 이에 따라 새로운 개념들이 등장하게 되었다. 이 중에서 데이터 레이크하우스(data lakehouse), 데이터 메시(data mesh), 데이터 패브릭(data fabric)에 대하여 간단히 소개하겠다.

Data Lakehouse

데이터 레이크하우스는 데이터 웨어하우스와 데이터 레이크의 장점을 결합한 개념이다. 데이터 레이크하우스는 대용량의 다양한 유형의 데이터를 모두 수용하고, 데이터베이스 시스템의 기능과 데이터레이크의 유연성을 결합하여, 데이터를 수집하고 처리하며, 실시간으로 쿼리를 실행할 수 있다. 이를 통해, 높은 확장성과 처리속도, 유연성, 실시간 데이터 분석이 가능하다.

특징

• 데이터 웨어하우스와 데이터 레이크의 기능을 모두 갖춘 개념으로 데이터 처리 엔진과 스토리지를 하나의 플랫폼에 통합한 구조
• 대용량의 비정형 데이터 처리를 위해 데이터 레이크의 유연성을 그대로 유지하면서, 데이터 웨어하우스의 효율성과 신뢰성을 보장함
• ACID 트랜잭션을 지원하며, 기존 데이터 웨어하우스와 유사한 구조를 가지고 있음

Data Mesh

데이터 메시는 기업 내의 데이터와 데이터 인프라를 분산화하여, 개별적으로 관리하면서, 조직 내의 모든 사용자가 데이터를 쉽게 공유하고 사용할 수 있도록 하는 개념이다. 데이터 메시는 조직 내의 각각의 데이터 소유자가 데이터를 자유롭게 보유, 운영하면서, 다른 조직의 데이터에 대해 적극적으로 공유하고, 재사용할 수 있도록 한다. 이를 통해, 조직 내에서 보다 효과적으로 데이터를 공유, 활용할 수 있다.

특징

• 독립적으로 개발 및 배포될 수 있는 도구와 서비스를 통해 데이터 소유자들 간에 연결된 분산 구조

• 기업 내에서 분산된 데이터 소유자들이 각자의 데이터를 관리하고 소유하는 것을 중심으로 하는 데이터 아키텍처 개념
• 데이터 소유자들이 각자의 데이터를 표준화된 방식으로 공유함으로써 중앙 집중식 데이터 관리를 피하고, 빠른 데이터 활용 및 문제 해결이 가능함
• 독립적으로 개발 및 배포될 수 있는 도구와 서비스를 통해 데이터 소유자들 간에 연결되어 있음

Data Fabric

데이터 패브릭은 기업 내의 모든 데이터를 하나의 일관된 데이터 서비스로 제공하기 위한 개념이다. 데이터 패브릭은 다양한 데이터 소스와 데이터 타입, 프로토콜을 포함하여, 모든 데이터를 유연하게 통합하고, 정리, 분석, 공유할 수 있는 데이터 인프라를 제공한다. 이를 통해, 모든 데이터를 일관된 방식으로 관리하고 활용할 수 있으며, 조직 내에서 데이터 통합 및 통찰력을 향상시킬 수 있다.

특징

• 여러 데이터 소스와 이를 처리하는 다양한 시스템들을 통합한 구조
• 분산 데이터 처리 아키텍처에서 데이터의 실시간 처리 및 통합을 위한 개념
• 여러 데이터 소스와 이를 처리하는 다양한 시스템들을 통합함으로써 데이터 흐름을 최적화하고, 복잡성을 줄임
• 데이터 엔진, 데이터 카탈로그, 데이터 분류, 데이터 선반, 데이터 흐름 등의 구성 요소로 이루어짐

한 문장으로 정리하자면 아래와 같다.

Data Lakehouse는 데이터 웨어하우스와 레이크의 장점을 모두 갖는 구조를 갖춘, 데이터 저장소와 처리를 위한 플랫폼 개념이고, Data Mesh는 데이터 소유자 간의 분산된 데이터 관리를 중심으로 한 분산 구조를 갖춘, 조직 구조를 활용한 분산된 프레임워크에 중점을 둔 분산 데이터 아키텍처이며, Data Fabric는 다양한 데이터 소스와 저장소 간 데이터 통합 및 관리를 위한, 기술 중심의 통합 데이터 아키텍처를 의미한다.

각 데이터 아키텍처의 개념들의 진화는 아직 현재 진행형이므로, 각 개념들은 아직은 구체적인 솔루션이 아니라 데이터 플랫폼을 설계하는 작업에 유용한 개념으로 보면 된다. 데이터 실무자는 기업의 데이터 성격과 목적을 알고, 규모에 맞게 데이터 기반 조직을 구축하는 최선의 방법을 모색하여 그에 맞는 개념들을 채택, 조합하여 데이터 인프라를 설계, 구축해야 한다. 언제나 최상의 솔루션은 조직에 가장 적합한 솔루션이다.