if(kakaoAI)2024

세션 91 상세

세션 영상

세션 정보

Google Cloud Platform에서 시간과 비용과 성능 세 마리 토끼를 잡는 daily batch 구축기카카오헬스케어

Google Cloud Platform에서 다양한 소스에서 매일 ETL하는 파이프라인에는 매일 실행되는 만큼 시간/비용/성능을 모두 고려해야 합니다. AlloyDB로 비싼 인메모리 디비와 근접한 성능 내기, 소스DB에 부하가 거의 없이 일배치 시간 단축한 여정, 대용량의 데이터를 효율적으로 분할 이관한 경험을 공유하고 싶습니다.

허신영 (grey_parrot)

카카오헬스케어에서 데이터 플랫폼을 개발하고 있습니다.