Post

DuckDB의 개념 및 사용해보기

DuckDB의 개념 및 사용해보기

DuckDB란?

DuckDB Logo

빠르고 효율적인 데이터 분석을 위해 설계된 강력한 인메모리 SQL 데이터베이스 엔진입니다. 서버-클라이언 모델(MySQL, PostgreSQL 등)과 달리 서버 없이 직접 애플리케이션에 내장되어 사용할 수 있습니다.

특징

1. 컬럼 기반 저장소

  • 데이터를 컬럼 별로 따로 저장합니다. (기존 RDB는 행 별로 저장합니다.)
  • 분석 쿼리는 보통 전체 행이 아닌 특정 컬럼들만 필요로 하기 때문에, 필요한 컬럼만 읽어 메모리 사용량과 I/O를 크게 줄일 수 있습니다.
  • 동일 유형의 데이터가 모여 있어 압축률이 높아지고 메모리 효율이 향상됩니다.

2. 벡터화된 쿼리 처리

  • 한 번에 여러 행을 벡터 or 배치 단위로 처리합니다.
  • 벡터화된 처리는 연산 중 불필요한 함수 호출을 줄이고 CPU 캐시를 효율적으로 활용하여 복잡한 데이터 처리 속도를 향상시킵니다.

3. 파일 직접 쿼리

  • CSV, Parquet 등 파일을 DB에 로드하지 않고 직접 SQL로 분석할 수 있습니다.
  • 메모리 매핑기술을 사용해 파일을 메모리에 로드한 것처럼 접근할 수 있어, 대용량 파일도 효율적으로 처리합니다.
1
2
3
4
5
-- CSV 파일 직접 쿼리
SELECT AVG(salary) FROM read_csv('employees.csv');

-- Parquet 파일 직접 쿼리
SELECT COUNT(*) FROM read_parquet('sales.parquet') WHERE region='Asia';

활용 이점

  • 코드 간소화: 복잡한 데이터 처리를 SQL로 간결하게 표현할 수 있습니다.
  • 성능 향상: 메모리 사용량 감소, 처리 속도 향상으로 빠른 분석이 가능합니다.
  • 쉬운 통합: 외부 종속성이 없으며 기존 애플리케이션과 완벽하게 통합됩니다.

주요 사용 사례

  • 대용량 CSV/Parquet 파일 분석
  • ETL 파이프라인의 변환(Transform) 단계
  • 임시 분석(Ad-hoc analysis) 작업

Spring Boot에서 DuckDB 사용해보기

Hugging Face의 Parquet 파일을 직접 테이블로 가져와 확인해봅니다.

의존성 & 애플리케이션 설정 추가

1
implementation group: 'org.duckdb', name: 'duckdb_jdbc', version: '1.1.3'
1
2
3
4
spring:
  datasource:
    url: jdbc:duckdb:./data/myapp.duckdb
    driver-class-name: org.duckdb.DuckDBDriver

Config 구성

.duckdb 파일을 만들어주기 위한 Config를 설정합니다.
파일이 없을 경우 자동으로 생성해주고, 기존 파일이 있을 경우 그대로 사용합니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
@Slf4j
@Configuration
public class DBConfig {

    @Value("${spring.datasource.url}")
    private String jdbcUrl;

    @Value("${spring.datasource.driver-class-name}")
    private String driverClassName;

    @Value("${spring.datasource.username:}")
    private String username;

    @Value("${spring.datasource.password:}")
    private String password;

    @Bean
    @Primary
    public DataSource duckDBDataSource() {
        initializeDuckDBFile();

        return DataSourceBuilder.create()
                .url(jdbcUrl)
                .driverClassName(driverClassName)
                .username(username)
                .password(password)
                .build();
    }

    private void initializeDuckDBFile() {
        try {
            String filePath = jdbcUrl.replace("jdbc:duckdb:", "");
            File dbFile = new File(filePath);

            if (!dbFile.exists()) {
                log.info("Initializing DuckDB file: {}", filePath);
                try (Connection conn = DriverManager.getConnection(jdbcUrl)) {
                    log.info("DuckDB file successfully initialized: {}", filePath);
                } catch (SQLException e) {
                    log.error("Error initializing DuckDB file: {}", e.getMessage());
                    throw new RuntimeException("Failed to initialize DuckDB file", e);
                }
            } else {
                log.info("Using existing DuckDB file: {}", filePath);
            }
        } catch (Exception e) {
            log.error("Failed to check DuckDB file", e);
            throw new RuntimeException(e);
        }
    }
}

Parquet 파일 import

read_parquet() 함수를 사용하여 Hugging Face 데이터셋의 Parquet 파일을 직접 읽어와 테이블로 변환합니다.

1
2
3
4
5
6
7
8
9
10
11
12
@Service
@RequiredArgsConstructor
public class DuckDBService {
    private final JdbcTemplate jdbcTemplate;
    private static final String PARQUET_FILE_PATH = "hf://datasets/OpenCo7/UpVoteWeb/data/merged_1.parquet";

    public void importParquetFile() {
        jdbcTemplate.execute("CREATE OR REPLACE TABLE reddit_comments AS SELECT * FROM read_parquet('" + PARQUET_FILE_PATH + "')");
    }

    // ...
}

데이터 확인

가져온 테이블의 구조 및 데이터를 확인합니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
@Service
@RequiredArgsConstructor
public class DuckDBService {
    private final JdbcTemplate jdbcTemplate;
    private static final String PARQUET_FILE_PATH = "hf://datasets/OpenCo7/UpVoteWeb/data/merged_1.parquet";

    public List<Map<String, Object>> describeTable(String tableName) {
        String query = "DESCRIBE SELECT * FROM " + tableName;
        return jdbcTemplate.queryForList(query);
    }

    public List<Map<String, Object>> getTableData(String tableName, int limit) {
        String query = "SELECT * FROM " + tableName + " LIMIT " + limit;
        return jdbcTemplate.queryForList(query);
    }
}

DuckDB Discribe


참고 자료

This post is licensed under CC BY 4.0 by the author.