PostgreSQL 파티셔닝 사용 및 성능 확인
파티셔닝이 왜 필요한가? 서비스 규모가 커질수록 데이터는 급격히 증가합니다. 단일 테이블에 수억 건 이상의 데이터를 계속 쌓게 되면 다음과 같은 문제가 발생합니다. 성능 저하 (Disk I/O 증가): 데이터와 인덱스 크기가 커지면서 메모리 용량을 초과하게 되면, 인덱스 탐색 시 디스크 I/O가 빈번해지며 조회 성능이 급격히 떨어집니...
파티셔닝이 왜 필요한가? 서비스 규모가 커질수록 데이터는 급격히 증가합니다. 단일 테이블에 수억 건 이상의 데이터를 계속 쌓게 되면 다음과 같은 문제가 발생합니다. 성능 저하 (Disk I/O 증가): 데이터와 인덱스 크기가 커지면서 메모리 용량을 초과하게 되면, 인덱스 탐색 시 디스크 I/O가 빈번해지며 조회 성능이 급격히 떨어집니...
지난 글에서 Elastic Search 기초에 대해 알아봤습니다. 이번에는 실제로 Elastic Search 사용 방법에 대해 작성합니다. 설치 Docker를 사용해 Elasticsearch와 Kibana를 설치합니다. (Kibana의 Dev Tools를 사용하면 API 테스트가 훨씬 편리하기에 같이 설치해주도록 합니다.) # 네트워크 생성...
Elasticsearch란? Elasticsearch(https://www.elastic.co/elasticsearch)는 Apache Lucene 기반의 분산 검색 및 분석 엔진입니다. 대용량의 데이터를 실시간으로 저장, 검색, 분석할 수 있는 오픈소스 NoSQL로, 특히 Full-text Search에 특화되어 있습니다. 검색 엔진 순위를 보...
프록시 서버란? Proxy는 ‘대리인’, ‘대리자’를 의미합니다. 프록시 서버는 인터넷 상의 여러 네트워크들에 접속할 때 중계 역할을 해주는 프로그램 또는 컴퓨터를 의미합니다. 프록시 서버 사용 시 이점 1. 보안 강화 프록시 서버는 클라이언트와 서버 사이의 중간 계층에서 작동하여 양측을 보호합니다. 클라이언트의 IP 주소를 숨기고, 악성 요청을...
DuckDB란? 빠르고 효율적인 데이터 분석을 위해 설계된 강력한 인메모리 SQL 데이터베이스 엔진입니다. 서버-클라이언 모델(MySQL, PostgreSQL 등)과 달리 서버 없이 직접 애플리케이션에 내장되어 사용할 수 있습니다. 특징 1. 컬럼 기반 저장소 데이터를 컬럼 별로 따로 저장합니다. (기존 RDB는 행 별로 저장합니다.) ...
들어가기 앞서 지난 글 Flyway를 활용한 DB Migration하기(1) - 기본 및 간단한 사용 방법에서 Flyway가 무엇인지, 기본 사용법에 대해 알아봤습니다. 하지만 실제 프로젝트는 혼자 진행하는 것이 아니기 때문에 단순히 기본 방식으로 적용하기는 어렵습니다. 해당 글에서는 실제 사내에 Flyway를 도입 시, 발생할 수 있는 문제와 이...
들어가기 앞서 일반적인 소프트웨어 배포 환경은 로컬 → 통합 환경 → 테스트 환경 → 운영 환경으로 단계적으로 구성됩니다. 사내에서는 소스 코드의 경우 Git과 같은 형상 관리 도구를 통해 변경 이력을 관리해왔지만, DB의 경우 별도의 형상 관리 없이 각 환경마다 동일한 작업을 수동으로 반복 진행해왔습니다. 이럴 경우 누락이나 오류로 인한 장애 발...
Spring Boot 기반의 A 서비스와 B 서비스가 통신해야하는 상황이라 WebClient를 사용했습니다. B 서비스가 자체 서명된 인증서를 사용하고 있어, SSL 인증 오류가 발생했습니다. 이를 해결하기 위해 WebClient 사용 시, SSL 검증을 우회하는 방법에 대해 설명합니다. RestTemplate VS WebClient 먼저, S...
왜 캐싱이 필요한가? 현재 프로젝트에서 특정 지표를 기반으로 Bing Maps API를 사용해 지도 이미지를 가져오는 로직이 있습니다. 동일한 지표로 반복 요청이 들어올 경우, 매번 API를 호출해 이미지를 가져오는건 비효율적입니다. API 호출 횟수를 줄이고 응답 시간 개선을 위해 캐싱 전략을 도입해야합니다. Caffeine Cache 선택 이유...
들어가기 앞서 온프레미스 서버의 시스템 로그 파일(/var/log/messages)에서 아래와 같은 오류를 발견했습니다. smartd[1902]: Device: /dev/bus/0 [megaraid_disk_01], SMART Failure: DATA CHANNEL IMPENDING FAILURE GENERAL HARD DRIVE FAILURE ...