모든 데이터 엔지니어가 더 이상 믿어서는 안 될 DuckDB 성능에 관한 7가지 오해

https://2stndard.tistory.com/notice/203

[발간예정][EPL과 유튜브로 배우는 DuckDB] 실습 코드와 데이터

 

분석이나 데이터 엔지니어링 분야에서 일해본 적이 있다면, DuckDB를 “귀엽긴 하지만 진지하게 볼 만한 수준은 아니다”라고 일축하는 말을 들어본 적이 있을 것입니다. 사람들은 DuckDB를 장난감 같은 데이터베이스라거나 취미로 하는 사람들이나 쓰는 도구, 혹은 대규모 처리가 불가능한 소규모 로컬 도구라고 부릅니다. 하지만 DuckDB는 노트북에서 수십억 행에 달하는 쿼리를 조용히 처리하고, 파이프라인을 간소화하며, 심지어 일부 워크로드에서는 클라우드 데이터 웨어하우스를 대체하고 있습니다.

DuckDB를 둘러싼 오해들 때문에 엔지니어들은 종종 이 도구를 진지하게 받아들이지 못합니다. 이제 잡음을 걷어내고 가장 흔한 7가지 오해를 바로잡아 보겠습니다.

 

오해 1: DuckDB는 소규모 데이터셋에만 적합하다

가장 큰 오해 중 하나는 DuckDB가 “대규모” 데이터를 처리할 수 없다는 것입니다. 비판자들은 DuckDB의 인-프로세스(in-process) 설계 방식 때문에 처리 가능한 테이블 크기가 매우 작을 것이라고 가정합니다.

 

• 사실: DuckDB는 열 기반 저장 방식, 벡터화 실행, 효율적인 메모리 매핑 덕분에 노트북에서도 10억 행 규모의 데이터셋을 처리하며 1초 미만의 쿼리 응답 시간을 제공합니다. 모든 데이터를 RAM에 로드하지 않고, 데이터를 청크 단위로 스트리밍하여 쿼리 효율을 놀라울 정도로 높여줍니다.
  
  
• 실제 사례: 데이터 과학자들은 일반 노트북에서 DuckDB를 사용하여 TPC-H 벤치마크를 실행했으며, 분석 워크로드에 있어 Redshift 및 Snowflake와 견줄 만한 성능을 보여주었습니다

오해 2: DuckDB는 단순히 분석용 SQLite일 뿐이다

네, DuckDB는 흔히 “분석용 SQLite”라고 불립니다. 하지만 많은 사람들이 이를 단순한 도구로 오해하곤 합니다.

• 사실: SQLite와 달리 DuckDB는 OLAP 워크로드에 최적화되어 있습니다. 즉, 대규모 스캔, 집계, 조인 및 분석 쿼리를 수행하도록 설계되었다는 뜻입니다. SQLite는 트랜잭션 워크로드에서 뛰어난 성능을 발휘하는 반면, DuckDB는 분석 워크로드에서 빛을 발합니다.

DuckDB를 SQLite의 편의성과 컬럼형 MPP 시스템의 성능 패턴을 결합한 결과물로 생각해보십시오.

오해 3: DuckDB는 클라우드 데이터 웨어하우스와 경쟁할 수 없다

Snowflake, BigQuery, Redshift와 같은 클라우드 데이터 웨어하우스는 수년 동안 분석 시장을 주도해 왔습니다. 많은 사람들이 DuckDB는 그들과는 차원이 다르다고 생각합니다.

• 사실: 로컬 우선, 탐색적, ETL 작업이 많은 워크플로우의 경우, DuckDB가 데이터 웨어하우스보다 뛰어난 성능을 발휘합니다. 그 이유는 무엇일까요? 네트워크 지연 시간, 오케스트레이터 오버헤드, 그리고 비용이 많이 드는 쿼리 컴파일 과정을 제거하기 때문입니다.
  
  
• 비유: 이는 신칸센(DuckDB)과 일반 여객기(클라우드 웨어하우스)를 비교하는 것과 같습니다. 여객기는 더 먼 거리를 이동하지만, 도시 간 이동에는 신칸센이 더 빠릅니다.

오해 4: 팀 단위 확장성이 부족하다

일부 엔지니어들은 DuckDB가 본질적으로 단일 사용자용이며, 팀이나 프로덕션 시스템에 맞게 확장할 수 없다고 주장합니다.

• 사실: DuckDB는 분산형 데이터베이스는 아니지만, 최신 데이터 스택에 원활하게 통합됩니다. Parquet, Arrow 및 Postgres 커넥터용 확장 기능을 통해 팀들은 DuckDB를 유일한 기록 시스템으로 사용하는 것이 아니라 파이프라인 내에서 활용합니다.

수천 명의 사용자를 동시에 처리하기 위해 DuckDB가 필요한 것은 아닙니다. 대신, 성능 병목 현상이 자주 발생하는 ETL, 머신러닝, 데이터 사이언스 파이프라인 내에서 DuckDB의 처리 속도를 확장하면 됩니다.

 

오해 5: 복잡한 쿼리를 처리할 수 없다

많은 사람들이 여전히 DuckDB가 단순한 SELECT 문이나 집계 쿼리만 처리할 수 있다고 생각합니다.

• 사실: DuckDB는 윈도우 함수, CTE, JSON, 정규 표현식, 통계 함수, 고급 조인 등을 지원하며, 이러한 기능들은 Postgres 및 최신 데이터 웨어하우스와 견줄 만합니다.
  
  
• 예시: 시계열 IoT 데이터에 대한 이동 평균 계산이나 이벤트 스트림에 대한 중첩 JSON 파싱은 DuckDB에서 가능할 뿐만 아니라, 데이터가 사용자의 머신을 벗어나지 않기 때문에 데이터 웨어하우스보다 더 빠른 경우가 많습니다.

오해 6: DuckDB는 프로토타이핑용으로만 쓰인다

일각에서는 DuckDB를 테스트에는 적합하지만 “실제” 업무에는 적합하지 않은 샌드박스 도구로 여깁니다.

• 사실: 기업들은 로그 분석, 피처 엔지니어링을 위한 프로덕션 파이프라인에서 DuckDB를 사용하고 있으며, 심지어 BI 도구에 내장하기도 합니다. 바이너리 파일 크기가 작아(몇 MB 수준) 애플리케이션과 함께 배포하기에 안성맞춤입니다.
  
  

이는 SQLite의 초창기 상황을 연상시킵니다. 한때는 무시받았지만, 이제는 브라우저부터 휴대폰에 이르기까지 모든 것을 구동하고 있습니다. DuckDB는 분석 분야에서 이와 유사한 궤적을 따라가고 있습니다.

 

오해 7: 전용 엔진보다 느리다

회의론자들은 DuckDB의 범용 설계 때문에 전용 컬럼형 데이터베이스나 GPU 데이터베이스보다 속도가 느릴 것이라고 가정합니다.

• 사실: 벤치마크 결과에 따르면 DuckDB는 단일 노드 분석 워크로드에서 Spark, Dask, Pandas보다 뛰어난 성능을 보이는 경우가 많습니다. 또한 벡터화된 실행 방식 덕분에 스캔 작업이 많은 쿼리에서도 전용 데이터베이스에 버금가는 성능을 발휘합니다.
  
  
• 입증 사례: 최근 성능 테스트에서 DuckDB는 수천만 행에 대한 그룹화(group-by) 작업에서 Pandas보다 10배 더 빠르게 처리했으며, 메모리 사용량도 훨씬 적었습니다.

<출처: https://medium.com/@bhagyarana80/7-duckdb-performance-myths-every-data-engineer-should-stop-believing-eee23cadb490>