엔비디아가 글로벌 인공지능(AI) PC 시장에 진출하는 가운데 AI 최적화 기술을 보유한 노타 가 주목받고 있다.
최근 젠슨 황 엔비디아 최고경영자(CEO)가 Arm 기반 플랫폼 'RTX Spark'를 공개하며 AI PC 시장 진출을 본격화했다. AI PC는 클라우드 서버에 의존하지 않고 기기 자체(온디바이스)에서 AI 연산을 수행하는 차세대 컴퓨터로, 이를 구현하려면 전력, 발열, 메모리 효율을 극대화하는 최적화 기술이 필수적이다.
이런 상황에서 노타의 AI 최적화 기술에 이목이 쏠리고 있다. 노타는 제한된 하드웨어 자원 환경에서도 고성능 AI 서비스를 원활하게 구현할 수 있도록 돕는 AI 최적화 소프트웨어 전문 기업이다. 지난 3월 글로벌 반도체 설계기업 Arm과 AI 최적화 소프트웨어 공급계약을 맺기도 했다.
또 AI PC 환경에서 중앙처리장치(CPU), 그래픽처리장치(GPU), 신경망처리장치(NPU) 등 서로 다른 연산 장치의 강점을 나눠 활용하는 이기종 컴퓨팅 기반의 거대언어모델(LLM) 추론 최적화 기술을 선보이며 기술력을 입증하기도 했다.
노타는 인텔 기반 AI PC에서 GPU와 NPU의 역할을 나눈 '분리형 추론' 기술을 적용해 단일 GPU 실행 대비 토큰당 에너지 소비를 약 32% 절감하고 생성 처리량은 12% 향상시켰다. 단일 NPU 방식과 비교해 첫 응답 지연시간을 약 89%나 단축하며 압도적인 AI 실행 효율을 확보했다.
업계 관계자는 "AI PC 시대에는 AI 모델을 기기에 올리는 것만으로는 충분하지 않다"며 "제한된 자원 안에서 AI를 얼마나 효율적으로 실행할 수 있느냐가 향후 온디바이스 AI 시장의 핵심 경쟁력이 될 것"이라고 말했다.