오픈AI, 메타, 네이버까지 생성형 인공지능 열풍은 여전히 뜨겁습니다. 다량의 병렬연산을 처리하는 GPU는 자연어처리(NLP)를 포함한 AI 모델의 핵심입니다. 엔비디아, AMD 등 외국 기업이 즐비한 GPU 산업에 의외로 한국이 커다란 영향력을 발휘하는데요. 고대역폭 메모리(High Bandwidth Memory, HBM)가 그 주인공입니다.
GPU 칩이 수많은 연산을 동시에 처리할 때, HBM은 연산에 필요한 데이터 조달을 담당합니다. 한 번에 많은 데이터를 지체없이 보내는 것은 상당한 기술력이 필요합니다. 용량과 반응속도는 물론 넓은 대역폭 구현이 필수인데요. 메모리 반도체, 특히 압도적인 D랩 점유율을 가진 국내 기업은 TSV(Through Silicon Via)와 적층 기술로 해결책을 제시했죠. 인공지능(AI) 모델의 심장과 다름없는 HBM 기술 소개와 현황, 주목할 만한 기업까지 정리했습니다.
HBM 기술 소개
메모리를 데이터 창고라 한다면, 연산 장치(CPU와 GPU)는 계산 공장입니다. 공장과 창고가 물류를 원활히 주고받을수록 일 처리가 빨라지듯, 메모리 성능과 연산 장치의 계산 속도는 비례 관계입니다. 그간 D램 자체 성능을 개선하는 속도는 한계가 있었는데요. HBM은 기존 D램 메모리를 여러 개 쌓는 방식으로 문제를 해결했습니다. 덕분에 용량 증가는 물론, 같은 면적에서 4배 이상의 대역폭을 사용합니다. 대역폭은 데이터를 전송하는 길인데요. 데이터가 다니는 고속도로를 수직으로 증설한 것과 마찬가지입니다.