4개의 글
최근 프로젝트에서 BigQuery의 성능 개선을 위해 Storage Read API를 도입하는 과정에서 흥미로운 문제를 만났습니다. GoogleSQL의 DATE 타입과 Apache Avro의 DATE 타입 간의 불일치로 인해 예상치 못한 데이터 변환 이슈가 발생했는데요, 이를 해결하는 과정을 공유해보려 합니다. BigQuery에서 데이터를 읽는 방법은 크게
> "하루 4번 서버가 죽는 이유를 찾아서" 마케팅 프로젝트는 전형적인 사내 어드민 시스템입니다. 평상시에는 문제없었습니다. 하지만 새로운 요구사항이 들어왔습니다: 그리고 매일 4번, 조용하던 서버에 지옥이 펼쳐지기 시작했습니다. 최악의 타이밍: 오전 9:30과 오후 3:30은 마케팅 팀이 가장 활발하게 사용하는 시간이었습니다. 문제점: - t4g.smal
사내 프로젝트에서 구글 빅쿼리 데이터를 조회하고 특정 시점의 스냅샷을 저장해야 하는 요구사항이 있었습니다. 처음엔 MySQL을 선택했지만 향후 S3 연동도 고려하고 있습니다. - MySQL의 JSON 타입 컬럼으로 데이터를 저장했습니다. - 다수의 부동소수점(float) 값이 포함된 JSON 데이터에서 부동소수점 오차로 인한 데이터 불일치가 발생했습니다.
콘서트 예약 프로젝트에서 API 응답 속도 개선과 서버 부하 감소를 위해 캐시를 적용하려 한다. 이를 위해 캐시의 개념과 다양한 캐싱 전략을 학습하고, Redis를 활용하여 캐시를 구현하는 방법을 알아보자. 캐시(Cache)는 컴퓨터 시스템에서 자주 사용되는 데이터나 값을 임시로 저장하여 동일한 데이터 요청 시 더 빠르게 접근할 수 있도록 하는 고속 저장소