AI 시대의 DuckDB 확장 전략

https://product.kyobobook.co.kr/detail/S000220221456

LUVIT EPL과 유튜브 데이터로 배우는 DuckDB | 이기준 - 교보문고

무거운 인프라 없이도 머신러닝 중심 팀이 DuckDB를 활용해 초고속·고확장성 데이터 처리를 구현하는 방법

AI에는 모델만으로는 충분하지 않습니다

머신러닝은 단순히 알고리즘에 관한 것이 아닙니다.

핵심은 올바른 데이터를 알고리즘에 공급하는 것입니다. 그리고 실험을 계속 진행할 수 있을 만큼 충분히 빠르게 처리하는 것입니다.

AI 시대에 병목은 학습을 위한 컴퓨팅 자원이 아닌 경우가 많습니다. 오히려 데이터 적재, 변환, 탐색 과정이 병목이 됩니다.

여기서 DuckDB가 등장합니다. DuckDB는 가볍고 프로세스 내부에서 실행되는 분석 엔진으로, 머신러닝 중심 팀들의 데이터 백본으로 조용히 자리 잡고 있습니다.

DuckDB가 AI/ML 워크플로에 적합한 이유

In-Process = 인프라를 기다릴 필요가 없습니다

많은 AI 팀에서 데이터셋을 한 번 반복 처리하는 것만으로도 다음과 같은 대기 시간이 발생합니다.

• 클라우드 데이터 웨어하우스 쿼리
• 느린 Python DataFrame 처리
• 과부하가 걸린 공유 클러스터

DuckDB는 이러한 문제를 바꿔줍니다. Python 코드와 동일한 프로세스 내에서 SQL 쿼리를 실행하며, 로컬 또는 원격 파일을 직접 읽습니다. 클러스터를 띄울 필요도 없고 네트워크를 거칠 필요도 없습니다.

모델 준비를 위한 컬럼형 성능

DuckDB의 컬럼형 저장 구조는 분석 작업을 위해 설계되었습니다. 특히 특징(Feature) 생성 과정에 적합합니다.

• 모델에 필요한 컬럼만 읽습니다.
• 불필요한 데이터 스캔을 건너뜁니다.
• 디스크에서 메모리로 데이터를 더 빠르게 전송하기 위해 압축합니다.

머신러닝 관점에서는 특징 선택, 집계, 필터링을 훨씬 빠르게 수행할 수 있으며 자원 낭비도 줄어듭니다.

확장성에 대한 오해 — 정말 클러스터가 필요한가요?

AI 엔지니어들은 "확장성"이라는 말을 들으면 흔히 분산 시스템을 떠올립니다. 하지만 모든 확장이 클러스터를 필요로 하는 것은 아닙니다.

학습 및 평가에 흔히 사용되는 10~500GB 규모의 데이터셋이라면, DuckDB와 같은 효율적인 엔진을 활용한 수직 확장이 거대한 클러스터보다 속도와 비용 측면에서 더 뛰어난 경우가 많습니다.

DuckDB를 활용한 실제 머신러닝 시나리오

한 금융 사기 탐지 팀이 S3에 저장된 180GB 규모의 Parquet 거래 데이터를 이용해 모델을 구축해야 한다고 가정해 보겠습니다.

DuckDB 이전에는 BigQuery에서 집계 결과를 조회한 후 CSV로 다운로드하고, 이를 Pandas에 적재해 특징 엔지니어링을 수행했습니다. 이 과정에는 수 시간이 소요되었습니다.

DuckDB를 도입한 후에는 S3의 Parquet 파일을 직접 조회하고, 필요한 집계를 수행한 뒤 Pandas DataFrame으로 변환하여 최종 전처리를 진행합니다. 전체 과정은 수 분 내에 끝납니다.

import duckdb
import pandas as pd

df = duckdb.sql("""
    SELECT customer_id, 
           AVG(transaction_amount) AS avg_amount,
           COUNT(*) AS txn_count,
           MAX(transaction_date) AS last_txn
    FROM 's3://fraud-data/*.parquet'
    WHERE transaction_date >= '2024-01-01'
    GROUP BY customer_id
""").to_df()

# 머신러닝 파이프라인에 바로 전달
model.fit(df[features], df[target])

이렇게 하면 여러 도구를 거치던 작업을 하나의 프로세스 내부 쿼리 단계로 대체할 수 있습니다.

DuckDB가 AI 라이프사이클을 가속화하는 방법

1. 더 빠른 특징 엔지니어링

컬럼형 쿼리를 활용하면 이동 평균 계산, 데이터셋 조인, 시차(Lag) 특징 생성 등을 몇 초 만에 수행할 수 있습니다.

2. 더 낮은 실험 비용

특징 집합을 반복적으로 실험할 때 클라우드 데이터 웨어하우스의 쿼리 비용을 지불할 필요가 없습니다.

3. Python 머신러닝 생태계와의 통합

DuckDB는 Pandas, Polars, PyTorch DataLoader와 자연스럽게 연동됩니다.

4. 확장 전 로컬 프로토타이핑

분산 환경에 투자하기 전에 로컬 환경에서 특징을 검증하고 모델을 실험할 수 있습니다.

AI 팀을 위한 DuckDB 확장 전략

저장 포맷 최적화

Parquet 또는 Arrow 같은 컬럼형 포맷을 사용하면 I/O를 최소화할 수 있습니다. DuckDB는 데이터를 적재하지 않고도 이러한 포맷을 직접 조회할 수 있습니다.

연산을 DuckDB로 밀어 넣기

Python으로 모든 데이터를 가져온 뒤 필터링하지 말고, 필터링과 조인, 집계를 DuckDB SQL 계층에서 처리하는 것이 좋습니다.

duckdb.sql("""
    SELECT * FROM data
    WHERE label = 'positive'
      AND feature_value > 0.75
""")

이렇게 하면 메모리 사용량을 줄이고 처리 속도를 높일 수 있습니다.

증분 처리를 위한 데이터 파티셔닝

대규모 AI 파이프라인에서는 데이터를 시간 기준으로 파티셔닝하고, 각 모델 실행 시 필요한 파티션만 조회하는 것이 효율적입니다.

하이브리드 워크플로 — DuckDB와 클라우드 AI 플랫폼

많은 머신러닝 중심 팀은 다음과 같은 하이브리드 접근 방식을 채택합니다.

• 원본 데이터는 데이터 레이크 또는 데이터 웨어하우스에 저장합니다.
• DuckDB를 사용하여 로컬 환경에서 조회 및 특징 엔지니어링을 수행합니다.
• 정제된 데이터를 GPU 기반 학습 환경으로 전달합니다.

이 방식은 특징 준비 과정을 개발자 가까이에 두고, 모델 학습은 GPU 가까이에서 수행하게 하여 전체 파이프라인 속도를 극대화합니다.

엣지 AI 활용 사례

소매점 키오스크, 드론, IoT 센서와 같은 엣지 장치에 머신러닝 모델을 배포하는 팀에게 DuckDB는 특히 유용합니다.

• 작은 설치 크기로 임베디드 시스템에 적합합니다.
• 네트워크 연결에 의존하지 않고 로컬에서 조회할 수 있습니다.
• 추론 이전에 장치 내에서 실시간 특징 계산이 가능합니다.

왜 AI 시대에 중요한가요?

AI 도입은 빠르게 확산되고 있습니다. 하지만 데이터 파이프라인이 이를 따라가지 못한다면 모델은 언제나 비즈니스 요구보다 뒤처질 수밖에 없습니다.

DuckDB는 다음과 같은 장점을 제공합니다.

• 성능: 컬럼형·벡터화 실행 기반의 고속 분석
• 단순성: 관리해야 할 서버가 없습니다.
• 유연성: 로컬 및 원격 데이터를 모두 지원합니다.
• 확장성: 단일 머신에서 수억 행 데이터를 처리할 수 있습니다.

결론: 더 빠른 모델을 위한 더 빠른 데이터

AI 분야에서 성공하는 팀은 단순히 최고의 모델을 가진 팀이 아닙니다. 가장 빠르게 프로덕션에 도달하는 팀입니다.

DuckDB는 머신러닝 중심 팀이 인프라를 확장하지 않고도 분석 성능을 확장할 수 있게 해줍니다. 이는 클러스터를 기다리는 방식에서 모든 것을 프로세스 내부에서 실행하는 방식으로의 조용하지만 강력한 변화입니다.

마무리

만약 여러분의 머신러닝 팀이 느린 특징 엔지니어링 파이프라인 때문에 어려움을 겪고 있다면, 다음 프로젝트에서 DuckDB를 사용해 보시기 바랍니다. 그리고 얻은 성능 향상을 직접 측정해 보시기 바랍니다.

모델 코드를 한 줄도 수정하지 않고도 워크플로에서 수 시간을 절약할 수 있을지도 모릅니다.

 

<출처: https://medium.com/@connect.hashblock/scaling-duckdb-for-ai-first-analytics-6987b925fa07>