삼성 “차세대 반도체로 챗GPT 속도 3.4배 올린다”

삼성 “차세대 반도체로 챗GPT 속도 3.4배 올린다”

입력2023.03.29. 오후 4:07

 기사원문

 

오찬종 기자

 

 

 

 

최진혁 삼성전자 미주법인 메모리연구소장이 기조연설을 하고 있다. [삼성전자]삼성전자가 글로벌 인공지능(AI) 반도체 학회인 ‘멤콘(MemCon) 2023’에 참석해 차세대 메모리 솔루션을 대거 공개했다.

29일 삼성전자는 최진혁 미주법인 메모리연구소장(부사장)이 최근 미국 캘리포니아주에서 열린 멤콘 2023서 ‘데이터 중심 컴퓨팅 시대의 메모리 혁신’을 주제로 기조연설을 진행했다고 발표했다.

멤콘 2023은 AI 메모리 솔루션을 다루기 위해 올해 처음 개최된 학회다. 삼성전자는 설립 멤버 자격으로 참석했다. 구글과 마이크로소프트 등 글로벌 IT 기업과 메모리, 디바이스 부문 다양한 업체들도 함께했다.

최 부사장은 이날 프로세서와 메모리 간 병목현상을 해결할 수 있는 삼성전자의 차세대 메모리 기술을 소개했다. 고성능 메모리에 연산 기능을 내장한 ‘HBM-PIM(지능형 메모리)’, 연산 기능을 메모리 옆에 위치시킨 ‘PNM(프로세싱 니어 메모리)’, 시스템의 메모리 용량을 테라바이트(TB)급까지 확장할 수 있는 ‘CXL(컴퓨트 익스프레스 링크) D램’ 등이다.

최 부사장은 생성형 AI인 챗GPT가 활성화되면서 데이터를 원활하게 처리할 수 있는 차세대 메모리 기술이 새롭게 떠오르고 있다고 강조했다. 최 부사장은 “챗GPT와 같은 대규모 AI 모델의 경우 메모리 병목현상으로 지연되는 부분이 80%에 달하는 것으로 추정된다”며 “이럴 경우 문장 생성 속도가 지연되는 등의 문제가 발생한다”고 말했다.

그는 삼성전자는 대규모 AI 모델에 HBM-PIM 기술을 적용할 경우 기존 HBM이 탑재된 GPU(그래픽처리장치) 가속기에 비해 AI 모델의 생성 성능이 3.4배가량 개선될 것으로 분석했다. 이와 함께 CXL 기반 PNM 기술 적용 시 기존 GPU 가속기 대비 D램 용량은 4배 증가하고 AI 모델의 로딩 속도는 2배 이상 빨라진다고 설명했다.

 

오찬종 기자(ocj2123@mk.co.kr)

기자 프로필