단순 대화형 챗봇서 상시 가동 AI 직원으로
"메모리 수요 기하급수적 팽창"
오픈AI가 최근 출시한 챗GPT 아스트라가 인공지능(AI) 에이전트 확산을 불러오며 메모리 수요도 크게 늘릴 것이라는 전망이 나왔다.
박준영 한화투자증권 연구원은 최근 'Astra가 예고하는 메모리 수요의 폭발적 증가' 보고서에서 "에이전트의 확산은 메모리 수요를 크게 늘릴 것"이라며 이같이 밝혔다.
챗GPT 아스트라를 기점으로 생성형 AI의 본질이 단순 질의응답 챗봇에서 자율적으로 업무를 수행하는 AI 에이전트로 전환을 맞이했다고 평가했다. 과거 모델들은 사용자가 일일이 작업 순서를 지시하지만, 아스트라는 목표를 부여하면 웹 브라우저, 사내 전사적 자원 관리(ERP) 등을 넘나들며 다단계 업무를 스스로 완료한다.
아스트라의 매커니즘은 사무실에서 일하는 사람과 똑같다. 대용량 파일이 다운로드되는 동안 가만히 멈춰있는 게 아니라 다른 결재 문서를 작성하는 직원처럼 멀티태스킹(비동기 도구 호출)을 수행한다. 긴 업무에서 이전 지시와 판단을 유지(장기 문맥 관리)한다. 아스트라는 핵심 내용을 작업 메모로 남기고 필요한 경우 이전 콘텍스트(문맥)를 다시 검색한다. 문맥이란 AI가 현재 업무를 위해 참고하는 지시사항과 자료, 중간 산출물 등을 말한다. 한 사람이 모든 일을 순차적으로 처리하는 것이 아니라 마치 총괄팀장(대표 에이전트) 지휘 아래 데이터 분석원, 검수관 등 하위 에이전트들이 프로젝트를 동시에 분업을 할 수도 있다.
아스트라 이외에도 앤트로픽 클로드 등도 AI가 사람이 자리를 비우거나 노트북을 닫아도 클라우드에서 24시간 상시 가동되는 백그라운드 인프라가 되고 있다. 일회성 학습에서 상시 추론으로 흐름이 바뀐다는 것이다.
이에 토큰 소모량이 이전보다 크게 늘 것이며 메모리 수요도 급격히 증가할 것이라고 박 연구원은 예상했다. 일반 채팅 대비 단일 에이전트는 4배, 멀티 에이전트 시스템은 15배에 달하는 토큰을 소모한다. 과거 사용자 수에 질문 횟수를 곱해 컴퓨팅 수요를 결정했으나 이제는 사용자당 에이전트 수에 업무 수행시간이 곱해지면서 인프라 가동 시간이 비약적으로 증가한다. 말하자면 모든 변수가 곱연산으로 작용해 메모리 수요 증가율은 AI 사용자 증가율을 훨씬 상회하게 된다.
예를 들어 고대역폭 메모리(HBM)은 현재 연산 중인 모델과 실시간 KV Cache(임시 기억장치)를 처리하는 데 쓰이기 때문에 그래픽처리장치(GPU)당 탑재 용량 증가와 고대역폭 규격 전환을 불러올 것으로 예상된다. 서버 DRAM은 고가의 HBM에 전부 담지 못하는 대기 상태의 문맥과 중간 결과물을 보관한다. 솔리드스테이트드라이브(eSSD)도 장시간 누적되는 업무 기록, 계약서 원본, 대용량 멀티미디어 데이터를 용구 보관하는 역할로 수요가 늘어날 전망이다.