CoWoS와 HBM — 왜 같이 다닐 수밖에 없는가

목차

• 1. HBM은 왜 CoWoS 위에 올라가야 하는가
• 2. 이유 1 — 초고밀도 I/O
• 3. 이유 2 — 짧은 배선 거리
• 4. 이유 3 — 전력 효율
• 5. HBM3E → HBM4 — CoWoS가 어떻게 바뀌는가
• 6. HBM4가 만드는 4가지 변화
• 7. SK하이닉스 vs 삼성 — HBM4 전략이 갈린다
• 8. CoWoS 없이 HBM을 쓸 수 있는 대안은?
• 9. 정리
• 10. 자주 묻는 질문 (FAQ)
• 11. 시리즈 안내

1. HBM은 왜 CoWoS 위에 올라가야 하는가

1편에서 CoWoS의 구조와 필요성, 2편에서 3가지 변종(S/R/L)을 정리했습니다.

이번 편은 CoWoS 위에 올라가는 HBM(High Bandwidth Memory) 이야기입니다. HBM은 DRAM을 수직으로 쌓아 대역폭을 극대화한 메모리입니다. 1편에서 잠깐 다뤘지만, 여기서 더 깊이 들어갑니다.

HBM의 성능을 100% 쓰려면 세 가지 물리적 조건이 필요합니다.

2. 이유 1 — 초고밀도 I/O

HBM3E의 인터페이스 폭은 1024-bit입니다. 하나의 HBM 스택에서 프로세서로 동시에 데이터를 보내는 통로가 1024개라는 뜻입니다.

이걸 물리적으로 연결하려면 수천 개의 micro-bump가 필요합니다. 일반 PCB 배선 폭은 수십 μm인데, 이 밀도의 연결은 물리적으로 불가능합니다.

실리콘 인터포저의 배선 폭은 1μm 이하. 같은 면적에 수십 배 더 많은 배선을 넣을 수 있습니다. HBM의 수천 개 I/O를 소화할 수 있는 건 실리콘 인터포저뿐입니다.

3. 이유 2 — 짧은 배선 거리

HBM의 대역폭 이점은 프로세서와의 거리가 짧을 때만 유효합니다.

• CoWoS 인터포저 위: Logic die ↔ HBM 간 거리 = 수 mm
• 일반 패키지: 수 cm → 신호 감쇠 + 전력 손실 + 지연 증가

수 mm와 수 cm의 차이가 별것 아닌 것 같지만, TB/s급 대역폭에서는 결정적입니다. 배선이 길어지면 신호 무결성이 깨지고, 고속 동작 자체가 안 됩니다.

4. 이유 3 — 전력 효율

짧은 배선 = 낮은 구동 전력.

AI 가속기에서 메모리 I/O 전력은 총 소비전력의 30~40%를 차지합니다. NVIDIA B200 한 장의 TDP가 1,000W에 달하는데, 여기서 메모리 I/O 전력을 줄이는 건 시스템 전체 효율에 직결됩니다.

CoWoS는 프로세서와 HBM을 수 mm 이내에 배치해서 I/O 전력을 최소화합니다.

H100에서 B200으로 가면서 대역폭이 2.4배 늘었습니다. 이걸 가능하게 한 건 CoWoS-S에서 CoWoS-L로의 전환과, 수 mm 배선 거리에서 오는 전력 효율입니다. 일반 DDR5 대비로는 160배 차이.

5. HBM3E → HBM4 — CoWoS가 어떻게 바뀌는가

HBM4는 2026년 후반 양산 예정입니다. 단순 업그레이드가 아니라, 패키징 설계를 근본적으로 바꿉니다.

이 표에서 주목할 변화가 네 가지 있습니다.

6. HBM4가 만드는 4가지 변화

① 인터포저 재설계 필수

인터페이스 폭이 1024-bit에서 2048-bit로 두 배가 됩니다. 인터포저 위의 배선 밀도도 두 배가 필요합니다.

이건 기존 인터포저에 선만 더 깔면 되는 게 아닙니다. HBM4는 HBM3E 인터포저와 호환 불가. 인터포저를 처음부터 다시 설계해야 합니다.

② Base die의 파운드리화

이전 HBM의 base die는 단순 I/O 역할만 했습니다. 데이터를 위아래로 전달하는 통로.

HBM4의 base die는 연산이 가능한 로직 다이로 변합니다.

• SK하이닉스: TSMC 12nm → 5nm 공정으로 base die 위탁 생산
• 삼성: 자체 파운드리에서 base die 제조

메모리와 로직의 경계가 흐려집니다. base die 자체가 하나의 프로세서급 칩이 되면, 패키징 복잡도는 한 단계 더 올라갑니다.

③ 열 관리 난이도 상승

base die에 로직이 들어가면 발열이 증가합니다. 거기에 DRAM 적층이 12~16층까지 올라가면 열이 빠져나갈 통로가 더 좁아집니다.

CoWoS 설계에서 열 관리(thermal solution)의 중요도가 급격히 올라갑니다.

④ 더 큰 인터포저 필요

HBM4를 12스택 이상 탑재하려면 인터포저 면적이 커져야 합니다. CoWoS-S의 3.3x reticle로는 부족합니다.

CoWoS-L의 5.5x reticle 이상이 사실상 유일한 선택지. 2편에서 "CoWoS-L이 메인스트림이 된다"고 한 이유가 여기에 있습니다.

7. SK하이닉스 vs 삼성 — HBM4 전략이 갈린다

HBM4의 base die가 액티브 로직으로 변하면서, 두 HBM 공급사의 전략이 완전히 갈립니다. 이 차이가 CoWoS 생태계의 미래를 결정합니다.

SK하이닉스 — TSMC와 분업

• Base die: TSMC에 위탁 생산 (12nm → 5nm 전환 중)
• HBM 스태킹: 청주 P&T7 공장 (₩19조 투자, 세계 최대 HBM 조립 시설)
• 최종 패키징: TSMC CoWoS-L에 의존
• 시장 점유율: HBM 시장 50% 이상 (HBM3E 기준), NVIDIA의 1차 공급사

장점은 TSMC의 검증된 CoWoS 수율과 성능을 그대로 활용할 수 있다는 것. 단점은 TSMC 캐파에 종속된다는 것입니다. CoWoS 생산능력이 수요의 60~70% 수준인 현재, 이건 실질적 병목입니다.

삼성전자 — 수직통합 원스톱

• Base die: 자체 파운드리에서 제조 (GAA 공정, TSMC 의존 없음)
• HBM 스태킹: 자체 시설
• 패키징: 자체 I-Cube 시리즈 (I-Cube S, I-Cube E, SAINT)
• 일본 패키징 허브: $1.7억 투자, 공급망 다변화

삼성은 파운드리 + HBM + 패키징을 원스톱으로 제공할 수 있는 유일한 업체입니다. TSMC CoWoS 캐파가 부족할 때, 고객이 삼성으로 넘어갈 수 있는 구조적 이유입니다.

하지만 현실은 — I-Cube의 양산 규모와 수율이 TSMC CoWoS에 비해 열세. NVIDIA·AMD·Google 모두 아직 TSMC를 쓰고 있습니다.

비교표

이것이 CoWoS 생태계에 의미하는 것

8. CoWoS 없이 HBM을 쓸 수 있는 대안은?

존재합니다. 하지만 각각 한계가 있습니다.

Intel EMIB은 실제 양산 실적이 있어서 가장 현실적인 대안입니다. 하지만 현시점에서 AI 가속기 시장의 CoWoS 점유율은 ~80%.

NVIDIA, AMD, Google, Broadcom이 전부 TSMC CoWoS를 쓰고 있고, 이 생태계를 바꾸려면 성능·비용·수율을 동시에 넘어야 합니다. 현실적으로 2~3년 내 CoWoS를 대체할 기술은 보이지 않습니다.

9. 정리 — CoWoS와 HBM의 관계