인공지능(AI) 인프라 소프트웨어 기업 래블업이 글로벌 기술 소통을 확대하고 있다.
래블업은 해외 고객 및 파트너사를 대상으로 진행한 첫 글로벌 웨비나 시리즈 'AI Scale Talks'를 성공적으로 마무리했다고 21일 밝혔다.
'AI Scale Talks'는 래블업이 보유한 AI 인프라 기술과 실제 구축·운영 경험을 글로벌 고객 및 파트너에게 소개하기 위해 마련한 웨비나 시리즈다. 'From Cell to Factory'를 주제로 지난달 27일부터 지난 17일까지 매주 한차례씩 개별 AI 추론 엔진부터 대규모 AI 인프라 운영까지 단계적으로 확장되는 기술 주제를 다뤘다.
1회차에서는 래블업이 오픈소스로 공개한 고성능 LLM·VLM 추론 엔진 'MLxcel'을 소개했다. 2회차는 KV 캐싱(KV Caching), 양자화(Quantization), 투기적 디코딩(Speculative Decoding) 등 LLM 추론 최적화 기법과 실험 결과를 다뤘다. 3회차에서는 서로 다른 네트워크와 보안 정책, 하드웨어 환경을 가진 고객사 인프라에 AI 플랫폼을 구축하고 운영하며 축적한 경험을 공유했다. 4회차는 여러 AI 모델과 서비스 사이의 요청을 분배하는 컨티넘 라우터(Continuum Router)와 여러 Router의 토큰 사용량·정책·과금을 중앙에서 관리하는 컨티넘 허브(Continuum Hub)를 소개했다.
래블업 신정규 대표는 "이번 웨비나는 해외 고객과 파트너를 대상으로 래블업의 AI 인프라 기술과 구축·운영 경험을 직접 소개한 첫 번째 글로벌 웨비나"라며 "앞으로도 글로벌 파트너들과 공동 웨비나를 비롯한 기술 교류를 이어가며 래블업의 기술력과 AI 인프라 운영 노하우를 글로벌 시장에 알려 나가겠다"고 말했다.