💡 3줄 요약
- AI 연산 성능이 급격히 높아지면서 발생한 메모리 병목 현상을 해결할 대안으로 고대역폭 플래시(HBF)가 떠오릅니다.
- HBF는 HBM보다 느리지만 훨씬 큰 용량과 낮은 비용으로 AI 메모리 계층을 확장하는 역할을 하는데요.
- 국내 반도체 기업도 차세대 HBF 주도권 경쟁에 본격적으로 뛰어들고 있습니다.
인공지능(AI)이 빠르게 발전하면서, AI가 처리하는 데이터 규모도 기하급수적으로 늘어납니다. AI 연산을 담당하는 GPU 등 AI 칩에 데이터를 전달하는 것은 메모리 반도체, 그 중에서도 D램과 HBM인데요. 최근엔 HBM이 AI 칩의 연산 속도를 따라잡지 못해 기술 발전의 발목을 잡고 있었습니다.
이처럼 HBM만으로는 감당하기 어려운 AI의 발전 속도를 따라잡기 위한 대안으로 떠오른 것이 고대역폭 플래시(HBF, High Bandwidth Flash)인데요. 오늘 <테크 한입>에서는 HBF가 무엇인지, HBF의 등장으로 AI 업계에는 어떤 변화가 예상되는지 알아보겠습니다.
🔎 반도체 종류 가볍게 정리하기
반도체는 크게 메모리 반도체와 비메모리 반도체로 나뉩니다. 메모리 반도체는 데이터를 저장하는 역할을 맡고 있고, 비메모리 반도체는 저장된 데이터를 불러와 계산하고 처리하는 역할을 하죠.
CPU나 GPU, AI 가속칩처럼 연산을 담당하는 칩들은 모두 비메모리 반도체에 속하는데요, 이들이 아무리 뛰어난 성능을 갖추고 있어도 데이터를 제때 공급받지 못하면 성능을 제대로 발휘할 수 없습니다. 결국 AI 시대의 성능 경쟁은 연산 능력뿐 아니라, 메모리에서 데이터를 얼마나 빠르게 전달할 수 있느냐의 문제로 이어집니다.
메모리 반도체 가운데 가장 대표적인 것이 D램과 낸드플래시입니다. D램은 속도가 매우 빠르지만 전원이 꺼지면 저장된 정보가 사라지는 휘발성 메모리로, 연산 과정에서 필요한 데이터를 잠시 올려두고 즉각적으로 불러오는 용도로 사용됩니다. GPU가 계산을 수행할 때 참조하는 데이터 대부분이 이 D램에 올라가 있습니다.
반면 낸드플래시는 전원이 꺼져도 데이터가 유지되는 비휘발성 메모리로, 속도는 D램보다 느리지만 대용량 저장이 가능해 SSD나 스마트폰, 서버 저장장치의 핵심 부품으로 활용됩니다. AI 학습에 쓰이는 방대한 데이터나 완성된 AI 모델은 주로 낸드플래시에 저장되고, 실제 연산이 이뤄질 때 필요한 일부 데이터만 D램으로 옮겨집니다.
문제는 AI 연산의 규모가 커지면서 기존 D램 구조만으로는 GPU의 연산 속도를 따라가기 어려워졌다는 점입니다. 이러한 한계를 보완하기 위해 등장한 것이 HBM, 즉 고대역폭 메모리입니다. HBM은 여러 개의 D램을 수직으로 쌓아 올린 뒤 이를 GPU와 매우 가까운 위치에 배치해, 한 번에 대량의 데이터를 초고속으로 전달할 수 있도록 설계된 메모리입니다.
기존 D램이 64차선 도로라면, HBM은 1024차선 도로라고 할 수 있죠. 훨씬 넓은 데이터 통로를 갖고 있어 전송 속도가 빠르고 전력 효율도 상대적으로 뛰어납니다. 다만, 제조 공정이 까다롭고 비용이 높다는 한계가 있죠. 이 때문에 주로 고성능 AI GPU나 데이터센터용 가속기에 사용됩니다.
HBF가 뭐야?
💲 용량 늘리고 가격 낮춘 HBF
HBF는 고대역폭 플래시(High-Bandwidth Flash)의 약자로, 낸드 플래시를 기반으로 AI와 고성능 컴퓨팅 업무를 위해 설계된 차세대 메모리 기술입니다. 낸드 플래시는 전원이 없는 상태에서도 메모리에 데이터가 계속 저장되는 플래시메모리의 일종인데요. 저장 셀을 직렬로 연결해 좁은 공간에 많은 데이터를 저장할 수 있다는 특징을 지니고 있습니다. 이런 낸드 플래시를 HBM처럼 수직으로 쌓아, 용량은 늘리고 고속 데이터 전송 능력도 일정 수준 유지하고 있는 것이 HBF입니다.
💡 HBM의 병목 현상, HBF가 해소한다
지금까지 GPU 등 AI 모델에 활용하는 컴퓨팅 장치는 HBM을 사용해 연산 데이터와 파라미터를 빠르게 공급받아 왔습니다. HBM은 D램 기반 메모리를 수직으로 적층해 대역폭을 극대화한 구조로, AI 연산에서는 매우 뛰어난 성능을 제공해 왔는데요. D램은 필요한 데이터에 즉시 접근할 수 있고 지연 시간이 짧아, GPU가 연산 중 데이터를 수시로 불러와야 하는 AI 환경에 적합했기 때문입니다. 특히 여러 데이터를 동시에 전송할 수 있어 병렬 연산에 유리했고, 이를 쌓아 올린 구조인 HBM은 AI 연산에 필요한 높은 대역폭을 안정적으로 제공해 왔죠.
하지만 HBM이 GPU의 발전 속도를 따라가지 못하면서 메모리 병목 현상이 나타나기 시작했습니다. 메모리 병목 현상은 컴퓨터 시스템에서 CPU나 GPU같은 컴퓨팅 장치의 처리 속도는 빠르지만, 메모리에서 데이터를 가져오는 속도가 느려져 전체 시스템 성능이 저하되는 현상으로, AI 모델의 응답을 지연시키는 원인으로 지적돼 왔는데요. 특히 거대 언어 모델(LLM)이나 멀티모달 AI 서비스가 활성화되는 상황에서 문제가 부각됐죠. 이러한 상황에서 HBF는 HBM보다 큰 용량을 기반으로 이를 해결할 중요한 대안으로 떠오르고 있습니다.
💨 SSD보다 빠르고, HBM보다 크다
HBF는 성능과 용량, 비용 측면에서 장점을 고루 가지고 있습니다. HBM은 연산 속도와 대역폭이 뛰어나지만 용량이 작고 단가가 높습니다. 낸드 플래시 메모리를 기반으로 하는 SSD(Solid State Drive)는 용량이 크고 저렴하지만 접근 속도가 느려 GPU 연산에 직접 활용되기 어렵죠. HBF는 이러한 아쉬움을 모두 해소할 수 있습니다. 낸드 플래시를 기반으로 하면서도 3차원 적층 구조(3D NAND stack)와 고속 연결 기술을 활용해, 메모리처럼 빠른 접근과 동시에 기존 낸드 대비 훨씬 큰 용량을 확보하는데요.
이러한 설계 덕분에 HBF는 HBM보다 느리지만 SSD보다는 훨씬 빠른 중간 계층 메모리 역할을 하죠. 플래시메모리 전문기업 샌디스크(Sandisk)의 연구에 따르면 HBF가 출시될 때 D램 기반의 HBM 대비 최대 8~16배 이상 큰 메모리 용량을 보유하는 것을 목표로 했다고 합니다.
다만, HBF는 단독으로 HBM을 대체하기는 어려울 것으로 보입니다. GPU의 가장 빠른 메모리 동작은 여전히 HBM이 담당하고, HBF는 데이터센터의 일부를 가져와 HBM에 정보를 보다 빠르게 전달하는 역할을 할 것으로 보이죠. HBM은 자주 쓰는 정보를 두는 책장, HBF는 그 책장을 보유하는 도서관과 같은 역할로, 서로의 부족한 점을 보완하는 장치로 볼 수 있습니다.
HBF와 HBM, 뭐가 달라?
🏃 속도는 느려도 용량·가격은 압승
HBM은 D램 기반 메모리로, GPU와 매우 근접한 위치에서 초고대역폭과 낮은 지연시간을 제공합니다. AI 가속기에서 HBM은 연산 처리 장치가 즉시 접근해야 하는 데이터를 담는 핵심 메모리로 활용되죠. 다만 D램 특성상 집적도에 한계가 있고, 적층 수가 늘어날수록 수율과 가격 부담이 급격히 커집니다. 반면 HBF는 낸드 플래시 기반으로, D램보다 접근 속도는 느리지만, 비트 단가가 낮고 대용량 구현에 유리합니다.
HBF는 HBM 대비 큰 용량을 제공하는 대신, 성능은 일부 양보하는 전략을 택하고 있는데요. GPU와 떨어져 있어 지연(latency) 문제가 컸던 기존 SSD의 단점을 해소하고자 메모리를 3차원으로 쌓고 연결 통로를 통해 GPU와 직접 연결되는 구조를 택하고 있습니다. 즉, SSD보다는 빠르고, HBM의 병목현상을 해소할 만큼 넉넉한 용량을 가지고 있는 것이죠.
낮은 단가도 장점입니다. 2025년 하반기 기준 HBM을 이루는 D램은 8GB 용량의 범용 제품이 8달러 수준이었던 반면, 낸드 플래시는 가격이 오르는 추세임에도 128GB 범용 낸드가 4.35달러 정도였죠. 이는 AI 인프라가 점점 커지는 현 시점에서 운영 비용을 좌우하는 핵심 요소가 될 전망입니다.
🤔 HBM은 즉시 연산, HBF는 보조 저장
HBM과 HBF는 메모리의 목적과 저장하는 방식에서도 차이를 보입니다. HBM은 GPU가 지금 당장 연산해야 할 데이터를 담는 메모리입니다. 연산 지연이 없어야 하기 때문에, 속도와 대역폭이 성능을 가르는 첫번째 기준이 되죠. 수많은 연산이 동시에 이뤄지는 AI 환경에서는 메모리가 연산 장치의 발목을 잡지 않는 것이 핵심이기 때문입니다.
전원이 꺼지면 데이터가 사라지는 휘발성 메모리라는 점은 전형적인 D램의 특성입니다. 이는 전력을 계속 공급해야 한다는 부담으로 이어지지만, 데이터에 즉각 접근할 수 있어 고속 연산에 최적화돼 있습니다. HBM이 GPU와 가장 가까운 위치에서 ‘연산용 메모리’ 역할을 맡아온 이유도 여기에 있습니다.
반면 HBF는 GPU 연산을 직접 수행하기보다는, HBM을 보조하는 저장 계층에 가깝습니다. 대규모 AI 모델의 파라미터, 추론 과정에서 반복적으로 참조되는 데이터, 혹은 HBM에 모두 담기 어려운 중간 결과물을 가까운 위치에 저장하는 역할을 맡는데요. 항상 사용되지는 않지만 필요할 때는 빠르게 접근해야 하는 데이터를 담당하는 저장장치인 셈입니다.
낸드 플래시 메모리 기반이기 때문에 비휘발성이라는 점도 중요한 차별점입니다. 전원이 꺼져도 데이터가 유지돼 서버 재시작 시 모델과 데이터를 다시 불러오는 부담을 줄일 수 있고, 대규모 AI 서비스 운영에서 안정성과 효율성을 높이는 데 도움이 됩니다.
즉, HBM은 속도를 끌어올린 연산용 메모리, HBF는 메모리 병목을 완화하는 대용량 보조 메모리 역할을 합니다. AI 인프라가 고도화될수록, 이 둘은 서로를 대체하기보다는 계층화 된 메모리 구조 안에서 함께 쓰일 가능성이 커지고 있습니다.
AI 시대, HBF가 뜬다
🧐 AI 추론 활성화로 메모리 역할 커지는 중
AI 모델이 고도화되면서 메모리의 역할도 달라지고 있습니다. 과거에는 모델을 한 번 학습시키는 과정이 중요했다면, 지금은 다수의 사용자가 동시에 요청을 보내는 추론 단계가 핵심 경쟁력이 됐기 때문인데요. 이 과정에서 GPU는 모델 파라미터, 중간 계산 결과, 캐시 데이터 등을 반복적으로 불러와야 하는데, 메모리가 이를 제때 공급하지 못하면 연산 성능이 아무리 좋아도 병목이 발생하죠. AI 성능을 좌우하는 요소가 단순 연산 능력에서 메모리 구조로 확장되고 있는 것입니다.
이런 상황에서 HBF는 초대형 모델 환경에 적합한 해법으로 떠오르고 있습니다. 대규모 언어 모델이나 멀티모달 모델은 전체 파라미터 중 일부만 자주 사용되고, 나머지는 특정 상황에서만 호출되는 경우가 많습니다. 모든 데이터를 고가의 HBM에 올려두기보다는, 상대적으로 덜 쓰이는 파라미터를 HBF에 저장해 GPU와 가까운 위치에 두는 방식이 효율성을 높일 수 있습니다.
⚡️ 전력 효율 높일 필수 요소
전력 효율 측면에서도 HBF는 장점을 지닙니다. HBM은 높은 대역폭을 제공하는 만큼 전력 소모도 큰 편이며, 높은 성능을 위한 적층 구조 때문에 층간 열 축적 현상이 일어나 냉각 비용도 부담되죠. HBM을 사용하는 AI 데이터센터가 늘어날수록 전력 비용과 발열 관리 부담이 함께 커지는 것입니다.
반면 HBF는 낸드 플래시 기반으로, 동일 용량 기준 전력 소모가 상대적으로 낮습니다. 때문에 모든 데이터를 HBM에 의존하지 않고, 일부를 HBF로 분산하면 시스템 전체의 에너지 효율을 개선할 수 있죠. AI 인프라가 장기 운영 단계에 접어든 지금, 비용과 효율성을 확보하기 위해서 HBF를 도입할 필요성이 커지고 있습니다.
🖥️ HBF, CXL 기반으로 확장 가능성
HBF가 GPU 하나에 종속되는 것이 아니라, 여러 가속기가 함께 활용하는 ‘공유 메모리 풀(Pool)’처럼 동작할 가능성도 논의됩니다. 이 과정에서 CXL(Compute Express Link)과 같은 차세대 인터커넥트 기술과의 결합 가능성도 거론되고 있죠.
🔎 CXL이 더 궁금하다면? [테크 한입] CXL, HBM을 잇는 차세대 반도체 기술
CXL은 CPU·GPU·메모리를 느슨하게 연결해 자원을 유연하게 공유하는 기술로, 서버 메모리 용량 과 대역폭의 한계를 극복할 기술로 떠오르고 있는데요. HBF가 여기에 포함될 경우 메모리 확장성과 활용도가 크게 높아질 수 있습니다. 초고속 연산이 필요한 영역은 HBM이 맡고, 대용량 데이터와 모델 파라미터는 HBF가 담당하는 역할 분담이 가능해지기 때문이죠. 이는 GPU마다 HBM을 무작정 늘리는 방식보다 비용과 전력 측면에서 효율적인 대안으로 평가됩니다.
🇰🇷 국내 기업도 발빠르게 HBF 경쟁 돌입
최근엔 국내 기업도 HBF의 도입에 큰 관심을 보이고 있습니다. SK하이닉스는 지난 8월 HBF 영역에서 샌디스크와 협력을 공식화했는데요. SK하이닉스가 HBF의 패키징 역량을 담당하고, 샌디스크는 플래시 설계와 대용량 낸드 기반 기술을 제공하는 방식으로 협업하고 있죠. 2027~2028년 상용화를 목표로 기술을 연구·개발 중인 것으로 알려졌습니다.
삼성전자도 HBF 경쟁에 뛰어들었습니다. 자체 HBF 제품 개발을 위한 개념 설계 등 초기 단계에 진입한 것으로 알려졌는데요. 아직 구체적인 제품 사양이나 양산 시점은 정해지지 않았지만, 삼성전자가 낸드 시장의 핵심 플레이어인 만큼 차세대 HBF 주도권 경쟁에서 핵심 역할을 할 것으로 보입니다.
AI 시대 경쟁은 더 이상 연산 속도만으로 좌우되지 않습니다. 얼마나 많은 데이터를, 얼마나 효율적으로 연산 장치 가까이에 가져다 놓을 수 있느냐가 새로운 승부처가 되고 있는데요. HBF는 AI 경쟁 변화의 중심에서 AI 인프라의 병목을 완화하고 전력·비용 효율을 동시에 높일 수 있는 대안으로 주목받고 있죠. HBM 시장에서 글로벌 입지를 확보한 한국 기업들이 HBF 시장에서도 활약할 수 있을지 관심이 집중되고 있습니다.
