if(kakaoAI)2024

세션 53 상세

세션 영상

세션 정보

빠르고 비용효율적으로 LLM 서빙하기카카오

경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다.

양정석 (andrew.0)

AI Engineering 조직 리더 andrew 입니다. 저희의 추론 최적화 시도에 관해서 말씀드리고자 합니다.