왜 세계 빅테크는 AI 경쟁에서 한국의 HBM을 필요로 하나?

TL;DR

AI 성능과 응답 지연은 연산 칩만이 아니라 대규모 데이터를 저장하고 빠르게 전달하는 HBM의 용량과 연결 구조에 크게 좌우된다. 한국 기업들이 핵심 공급자로 자리 잡은 가운데, 지속적인 적층·냉각 혁신과 메모리 중심 컴퓨터 구조 개발이 기술 격차와 산업 주도권을 지키는 관건이다.

Transcript

안녕하세요. 한석준입니다. 리시대 대가들의 순도 높은 지식을 전하는 지식인 초대석. 오늘은 고대역폭 메모리 HBM의 기술을 제한하신 대한민국 HBM의 아버지라고 불리는 분입니다. 카이스테 김정호 교수님 모셨습니다. 어서 오십시오. >> 네. 반갑습니다. >> 교수님. HBM의 아버지 맞습니까? >> 우리 자녀가 있는데요. 자녀만큼 살아난 거 같지는 않고. 근데 생각하는 시간으로 보면 제 자녀보다 훨씬 많이 생각하니까 사랑하는 건 좀 맞는 거 같습니다. >> 그렇군요. 교수님 오신다고 그래서 저희가이 과자를 준비했습니다. SK 하이닉스에서 나온 HBM 칩이라고 합니다. >> 예. 한번 드셔 보시죠. 이게 되게 맛있습니다.... Read More

Key Insights

• HBM은 여러 메모리 층을 수직 적층하고 TSV로 관통 연결해, 층마다 전력과 데이터를 고르게 전달하는 구조다.
• 적층된 칩 하나의 결함도 전체 수율에 영향을 주므로 정밀 접합 장비와 추가 전력 경로를 포함한 제어 기술이 중요하다.
• 평면 미세화가 원자 규모의 물리적 한계에 접근하면서, 메모리 용량을 높이는 해법이 2차원 축소에서 3차원 적층으로 이동했다.
• AI 연산은 데이터를 자주 읽고 써야 하므로 GPU의 계산 능력뿐 아니라 HBM의 용량과 데이터 전달 속도에 크게 의존한다.
• GPU와 HBM을 가까이 패키징하면 신호 감쇠와 증폭 시간을 줄일 수 있어, AI 응답 지연을 낮추는 데 유리하다.
• HBM을 지나치게 높게 쌓으면 뒤쪽 냉각 장치의 공간이 부족해지므로, 최대 24층과 수평 확장을 결합하는 구상이 제안됐다.
• 현재 HBM을 만드는 선두 기업은 삼성전자, SK하이닉스, 마이크론이며, 한국이 멈추면 중국 기업이 추격할 가능성이 있다.
• 메모리에 CPU와 GPU 기능이 들어가기 시작하면서 메모리와 시스템 반도체의 경계가 흐려지고 산업 주도권 경쟁도 심화된다.

Questions & Answers

Q: HBM이 AI 성능에 중요한 이유는 무엇인가?

AI는 방대한 데이터를 저장한 뒤 반복해서 읽고 처리해야 하므로 메모리 용량과 데이터 전달 속도가 중요하다. GPU의 계산 능력이 높아도 HBM 공급량이나 성능이 부족하면 완제품 생산과 AI 서비스가 제한되며, 응답 속도와 동시에 서비스를 이용할 수 있는 규모도 영향을 받는다.

Q: HBM의 TSV는 어떤 역할을 하는가?

TSV는 여러 층으로 쌓인 메모리를 수직으로 연결하는 통로다. 1층부터 16층까지 전력을 고르게 공급하고 데이터를 이동시키며, 각 층의 온도도 일정하게 유지하도록 돕는다. 따라서 TSV의 설계와 품질은 적층 HBM의 성능과 수율을 결정하는 핵심 요소다.

Q: HBM은 왜 평면 확장이 아니라 수직 적층 방식을 사용하는가?

기존 반도체는 회로를 옆으로 더 작게 줄여 밀도와 성능을 높였지만, 미세화가 1nm와 원자 규모에 가까워지면 물리적 한계에 직면한다. 반면 인터넷과 스마트폰, AI의 등장으로 메모리 수요는 계속 증가했기 때문에 여러 층을 수직으로 쌓는 3차원 방식이 대안으로 제시됐다.

Q: GPU와 HBM을 가까이 배치하면 무엇이 좋아지는가?

GPU와 HBM 사이의 거리가 짧아지고 연결 통로가 많아지면 신호 손실이 감소한다. 손실된 신호를 증폭하는 데 필요한 전력과 시간도 줄어들어 레이턴시가 낮아진다. 이런 이유로 AI용 GPU와 HBM은 선택형 소켓이 아니라 가까이 붙인 패키지로 구성된다.

Q: HBM을 계속 높게 쌓을 수 없는 이유는 무엇인가?

HBM 뒤에는 열을 빼내기 위한 냉각 장치를 설치해야 하므로 적층 높이에 제한이 생긴다. 지나치게 높아지면 냉각 장치를 둘 공간이 부족해진다. 김정호 교수는 16층 또는 최대 24층 수준의 적층과 함께, 여러 HBM을 아파트 단지처럼 수평으로 확장하는 구조를 제안했다.

Q: 한국이 세계 빅테크의 AI 경쟁에서 필요한 이유는 무엇인가?

AI 가속기는 HBM이 없으면 충분한 성능을 내기 어렵고, HBM 공급이 부족하면 GPU를 많이 설계하고 생산해도 완제품을 내놓을 수 없다. 현재 HBM 선두 기업에는 삼성전자와 SK하이닉스가 포함돼 있어, GPU와 AI 서비스를 개발하는 글로벌 기업들이 한국의 메모리 공급과 기술을 필요로 한다.

Q: AI 시대에 메모리와 시스템 반도체의 관계는 어떻게 바뀌는가?

과거에는 CPU와 GPU, 메모리를 별도 부품으로 구분했지만 AI 시스템에서는 GPU와 HBM이 긴밀하게 결합한다. 또한 HBM 자체에도 CPU와 GPU 기능이 들어가기 시작해 메모리와 시스템 반도체의 경계가 흐려지고 있으며, 이에 따라 삼성전자와 엔비디아 사이에는 협력과 주도권 경쟁이 동시에 나타난다.

Q: 한국이 HBM 리더십을 유지하려면 무엇을 해야 하는가?

현재 위치에 머무르면 중국의 D램과 낸드플래시 기업이 연구개발을 통해 추격해 10년 뒤 판도가 뒤집힐 가능성이 있다. HBM4부터 HBM8까지 후속 세대를 계속 개발하고 HBF 같은 새로운 구조의 로드맵을 선제적으로 마련해, 경쟁 제품으로는 필요한 AI 성능을 내기 어렵게 만들 만큼 격차를 유지해야 한다.

Summary & Key Takeaways

• HBM은 D램을 여러 층으로 쌓고 TSV로 연결해 대용량 데이터가 층 사이를 빠르게 이동하도록 만든 메모리다. 전력 공급과 온도를 각 층에 고르게 유지해야 하며, 적층 수율과 냉각, 신호 손실을 함께 해결해야 성능을 확보할 수 있다.

• AI는 방대한 데이터를 메모리에 저장하고 반복적으로 불러오기 때문에 메모리 용량과 대역폭의 영향을 크게 받는다. GPU와 HBM을 가까이 패키징하면 연결 통로가 늘고 신호 손실과 지연이 감소해, 응답 속도와 동시 서비스 능력을 높일 수 있다.

• 한국은 삼성전자와 SK하이닉스를 중심으로 HBM 리더십을 확보했지만 중국 기업의 추격 가능성을 경계해야 한다. HBM4 이후 세대와 HBF 같은 후속 구조를 선제적으로 연구하고, 메모리 중심의 하드웨어와 소프트웨어 생태계를 주도해야 한다.