개요
이번 가이드에서는 "Hot Chips 2026이 올해 반도체 산업에 대해 뭘 말해주나"를 풀어봤습니다. 결론부터 말하면, 에이전트(agentic AI)가 더 이상 칩 위에서 돌아가는 응용이 아니라, 칩을 설계하는 목표 그 자체가 됐다는 겁니다. NVIDIA는 이번 신형 GPU 세션 제목을 아예 "Rubin GPU: Driving the Era of Agentic AI"로 달았고, Intel의 신형 추론 GPU는 "Crescent Island: GPU Designed for Agentic AI Inference", Google의 8세대 TPU는 "Optimized for Training and Serving in the Agentic Era"입니다. 세 회사가 약속이나 한 듯 같은 단어를 붙였습니다.
그래서 뭐가 걸렸나 — 작년까지 로드맵으로만 발표됐던 칩들이 올해 실제 아키텍처로 내려왔고, 그 위에 OpenAI가 처음으로 자기 칩을 들고 나옵니다("You Can Just Build Things … Chips"). 하이퍼스케일러 커스텀 실리콘 대 상용 GPU의 전선이 이번 학회에서 칩 단위로 그어집니다. 그리고 그 모든 칩의 성능을 결정하는 건 결국 메모리인데, 그 자리는 삼성·SK하이닉스의 영역입니다.
Hot Chips란, 그리고 올해가 특별한 이유
Hot Chips는 반도체 칩 아키텍처 분야에서 세계에서 가장 오래되고 권위 있는 학회입니다. IEEE가 후원하고 매년 8월 스탠퍼드에서 열립니다. 논문 학회라기보다는, 각 회사의 수석 아키텍트가 직접 나와 이제 막 출시했거나 곧 출시할 칩의 내부 설계를 공개하는 자리입니다. 새 GPU·CPU·AI 가속기의 마이크로아키텍처가 세상에 처음 상세히 드러나는 곳이 대개 여기입니다.
작년(2025) Hot Chips에서 젠슨 황은 Vera CPU·Rubin GPU·BlueField-4·Spectrum-X로 이어지는 여섯 칩짜리 Vera Rubin 플랫폼을 로드맵으로 발표했고, Google Ironwood(TPU v7)가 NVIDIA와의 격차를 크게 좁히며 화제가 됐습니다. 올해는 그 로드맵이 실리콘이 된 회차입니다. Rubin GPU, Vera CPU, BlueField-4가 각각 별도 세션으로 내부 아키텍처를 공개하고, AMD MI400과 Google TPU v8이 정면으로 맞붙습니다. 발표로 예고됐던 칩들의 "안을 열어보는" 해라고 보면 됩니다.
Hot Chips 2026 기본 정보
| 항목 | 내용 |
|---|---|
| 일시 | 2026년 8월 23일(일)~25일(화) |
| 장소 | Memorial Auditorium, Stanford University, Palo Alto, CA (하이브리드 — 현장 + 온라인) |
| 구성 | 일(8/23) 튜토리얼(메모리·RISC-V) → 월~화 본회의(키노트·CPU·GPU·AI·메모리·네트워킹) |
| 주요 세션 | CPU · GPU · AI Accelerator · Memory · Networking & Interconnect · FPGA · Automotive |
| 등록 | 조기 등록 7/31(금) 마감 시 최저가. 발표 자료(pdf)·영상은 등록자에 우선, 일반 공개는 학회 3개월 후 |
올해의 키워드: "에이전트를 위해 설계된" 칩
작년까지 AI 가속기의 설계 목표는 "더 큰 모델을 더 빨리 학습시키는 것"이었습니다. 올해 마퀴 세션들의 제목을 나란히 놓고 보면 목표가 바뀐 게 보입니다. NVIDIA Rubin은 "에이전트 시대를 이끈다", Intel Crescent Island는 "에이전트 추론을 위해 설계된 GPU", Google 8세대 TPU는 "에이전트 시대의 학습과 서빙에 최적화된 두 개의 칩"입니다.
왜 이렇게 됐나. 에이전트 워크로드는 기존 학습·추론과 부하 특성이 다릅니다. 긴 컨텍스트를 계속 물고 있어야 하고(KV-cache 폭증), 짧은 추론을 수없이 반복하며, 학습보다 추론(serving) 비중이 압도적으로 큽니다. 그래서 칩 설계의 무게 중심이 순수 연산량(FLOPS)에서 메모리 용량·대역폭과 추론 효율로 옮겨가고, Intel이 학습용이 아닌 추론 전용 GPU(Crescent Island)를 따로 내놓고, Google이 학습용과 서빙용 칩을 분리해 두 개로 내놓는 이유가 여기 있습니다.
반도체 엔지니어가 봐야 할 것 — 6개 테마
1. GPU 삼파전 — Rubin vs MI400 vs Crescent Island
월요일 오후 GPU 세션이 이번 학회의 하이라이트입니다. NVIDIA Rubin이 아키텍처를 처음 공개하고, AMD가 MI400을 GPU 아키텍처와 시스템 아키텍처 두 세션으로 나눠 정면으로 붙습니다. Intel은 추론 전용 Crescent Island로 다른 링에 섭니다.
2. 하이퍼스케일러 커스텀 실리콘 — 그리고 OpenAI의 데뷔
화요일 AI 세션은 "칩을 사는 회사"가 아니라 "칩을 만드는 회사"들의 무대입니다. Meta(MTIA), Microsoft(MAIA 200), Google(TPU v8)이 자체 실리콘을 공개하고, OpenAI가 처음으로 자기 칩을 들고 나옵니다 — 세션 제목이 "You Can Just Build Things … Chips"입니다.
3. CPU도 다시 뜨겁다 — 칩렛과 대역폭
AI 가속기에 가렸던 서버 CPU가 올해 두 세션으로 돌아왔습니다. NVIDIA Vera CPU(작년 발표의 실물), Intel Diamond Rapids Xeon과 저전력 Wildcat Lake, Fujitsu Monaka(Arm 기반 그린 데이터센터), Arm이 직접 내놓는 칩렛 서버 SoC(Arm AGI), 그리고 IBM Z까지.
4. 메모리 프론티어 — HBM의 다음, PIM, CXL, 그리고 HBF
일요일 메모리 튜토리얼이 이 테마의 입구입니다. 삼성이 로직 공정을 활용한 HBM 베이스 다이의 미래를, SK하이닉스가 HBM 고급 패키징을 다루고, "HBF(High Bandwidth Flash)"라는 새 개념과 3D DRAM 가속기가 등장합니다. 본회의에서는 삼성이 세계 최초 LPDDR 기반 PIM(LPDDR5X-PIM)을, XCENA가 CXL 컴퓨팅 메모리를 공개합니다.
5. 네트워킹 & 인터커넥트 — 칩을 넘어 "AI 팩토리"로
이제 한 칩의 성능보다 수천 칩을 어떻게 묶느냐가 시스템 성능을 결정합니다. Broadcom Thor Ultra(AI/HPC용 이더넷 NIC), NVIDIA BlueField-4와 Spectrum-X 멀티플레인 네트워크, 그리고 Mojo Vision의 마이크로-LED 기반 대규모 병렬 광 I/O까지.
6. 오토모티브 — Waymo 키노트와 차량용 AI 실리콘
월요일 키노트가 Waymo("Compute in Motion: 자율주행의 도전")이고, 이어지는 Automotive 세션에서 BOS Semiconductors의 칩렛 기반 차량용 AI SoC(Eagle-N)와 Waymo의 센서 퓨전 프로세서가 공개됩니다. RISC-V 튜토리얼에도 Infineon의 차량용 세션이 있습니다.
한국 관점 — 메모리에서, 그리고 스타트업에서
Hot Chips는 미국·대형 반도체 위주 무대지만, 올해 한국 지분은 메모리에서 특히 큽니다. 삼성은 일요일 튜토리얼에서 HBM 베이스 다이의 미래(로직 공정 활용)를 발표하고, 본회의에서 세계 최초 LPDDR 기반 PIM(LPDDR5X-PIM)을 공개합니다. SK하이닉스는 HBM 고급 패키징 튜토리얼을 맡습니다. 작년 SEDEX에서 두 회사가 HBM4를 나란히 공개했고, 그 HBM4가 바로 이번에 아키텍처가 공개되는 NVIDIA Rubin에 실릴 메모리라는 점에서, 메모리 세션은 한국 산업과 직접 연결됩니다.
스폰서·발표자 명단을 보면 한국 팹리스 스타트업의 이름도 눈에 띕니다. XCENA(CXL 컴퓨팅 메모리 본회의 발표, 삼성과 공동), Hyperaccel·OpenEdges·Qualitas Semiconductor·Addireen·Zett AI가 실버 스폰서로 참여합니다. 학계에서는 KAIST가 임베디드 에이전트를 위한 저전력 비전-언어 내비게이션 프로세서 포스터를 냅니다.
| 주체 | 발표/참여 | 일정 |
|---|---|---|
| 삼성전자 | HBM 베이스 다이 (로직 공정 활용) — 튜토리얼 | 일 (튜토리얼 1) |
| SK하이닉스 | HBM 고급 패키징 — 튜토리얼 | 일 (튜토리얼 1) |
| 삼성전자 | LPDDR5X-PIM — 세계 최초 LPDDR 기반 PIM | 화 (메모리) |
| XCENA + 삼성 | MX1 CXL 컴퓨팅 메모리 디바이스 | 화 (메모리) |
| KAIST | 저전력 실시간 비전-언어 내비게이션 프로세서 (포스터) | 포스터 |
| Hyperaccel·OpenEdges·Qualitas·Addireen·Zett AI | 실버 스폰서 (팹리스 스타트업) | 전 기간 |
전체 일정 총망라
아래는 본 프로그램 전체입니다. 마퀴 세션에는 주목, 한국 관련에는 KR을 달았습니다. 요일 필터와 검색으로 좁혀 보면 됩니다. (시간은 태평양 시간 PDT, 프로그램은 학회 사정에 따라 변동될 수 있습니다.)
| 일 8/23 · 튜토리얼 1 — 메모리 기술 | ||
| 9:00 | Memory: Feeding AI's voracious hunger for data | Jim Handy, Objective Analysis |
| 9:00 | Evolving memory architectures for AI | Raghu Sreeramaneni, Micron |
| 9:00 | HBM Base Die: 로직 공정을 활용한 HBM의 미래 KR | Sangwook Han, Samsung |
| 9:00 | Advanced packaging for High Bandwidth Memory (HBM) KR | Jaesik Lee, SK Hynix |
| 11:30 | 3D DRAM based Accelerator for Generative Inference | S. Bhoja (D-Matrix) & A. Ankit (Meta) |
| 11:30 | HBF in AI Compute — HBF(High Bandwidth Flash) 신개념 | A. Agrawal & R. Giduthuri, Oxmiq Labs |
| 일 8/23 · 튜토리얼 2 — RISC-V | ||
| 1:45 | RISC-V 표준·채택 현황 (profiles·platforms) | Krste Asanovic, SiFive |
| 1:45 | 엔터프라이즈 오픈소스의 RISC-V 진화와 RVA23 수렴 | Gordan Markus, Canonical |
| 3:45 | NVIDIA GPU와의 상호운용을 위한 RISC-V 프로파일 | Frans Sijstermans, NVIDIA |
| 3:45 | RISC-V for Automotive — 기회와 과제 | Thomas Roecker, Infineon |
| 월 8/24 · CPU 1 | ||
| 9:30 | 차세대 IBM Z & LinuxONE 프로세서 + AI 추론 가속 칩셋 | Christian Zoellin, IBM |
| 9:30 | Intel Core Series 3 (코드명 Wildcat Lake) | Lance Hacking, Intel |
| 9:30 | NVIDIA Vera CPU 주목 | J. Evans & P. Xekalakis, NVIDIA |
| 월 8/24 · CPU 2 | ||
| 11:30 | FUJITSU-MONAKA — 그린 AI 데이터센터용 Arm CPU | Ryohei Okazaki, Fujitsu |
| 11:30 | Arm AGI — 칩렛 기반 분리형 서버 SoC (Terabyte/s 시대) 주목 | Deepak Goel, Arm |
| 11:30 | Diamond Rapids — 차세대 Intel Xeon CPU | A. Kumar & K. Sistla, Intel |
| 월 8/24 · 키노트 & Automotive | ||
| 2:15 | [키노트] Compute in Motion — 자율주행의 도전 주목 | Daniel Rosenband, Waymo |
| 3:15 | Eagle-N — 확장형 차량용 AI 칩렛 SoC | KM Lim, BOS Semiconductors |
| 3:15 | Waymo 센서 퓨전 프로세서 | Sabareesh Ravikumar, Waymo |
| 월 8/24 · GPU ★ 하이라이트 | ||
| 4:45 | NVIDIA Rubin GPU — Driving the Era of Agentic AI 주목 | M. Mandal, R. Dash & R. Manyam, NVIDIA |
| 4:45 | AMD Instinct MI400 Series GPU Architecture 주목 | A. Smith & M. Subramaniam, AMD |
| 4:45 | System Architecture of the AMD MI400 Series GPU | S. Scott, D. Riddoch & K. Doddapaneni, AMD |
| 4:45 | Crescent Island — 에이전트 추론 전용 GPU (Intel) 주목 | Sumit Mohan & Hong Jiang, Intel |
| 화 8/25 · FPGA | ||
| 8:30 | Secure Computing SoC — Physical AI·데이터센터·미션크리티컬 | J. Dastidar & T. To, AMD |
| 8:30 | Versal RF | Jeff Cuppett, AMD |
| 화 8/25 · 메모리 | ||
| 9:30 | Samsung LPDDR5X-PIM — 세계 최초 LPDDR 기반 PIM KR | Karam Hwang, Samsung |
| 9:30 | XCENA MX1 — CXL 컴퓨팅 메모리 디바이스 KR | Harry Kim (XCENA) & Jinin So (Samsung) |
| 화 8/25 · Networking & Interconnect | ||
| 11:00 | Thor Ultra — AI/HPC 최적화 이더넷 NIC | Hemal Shah, Broadcom |
| 11:00 | NVIDIA BlueField-4 — AI 팩토리 운영체제 | Idan Burstein, NVIDIA |
| 11:00 | NVIDIA Spectrum-X 멀티플레인 네트워크 아키텍처 | Gilad Shainer, NVIDIA |
| 11:00 | 마이크로-LED 기반 대규모 병렬 광 I/O | Mike Wiemer, Mojo Vision |
| 화 8/25 · AI 1 | ||
| 2:15 | MTIA — Meta 자체 AI 실리콘 프로그램 주목 | S. Loke, C. Chen & J. Singh, Meta |
| 2:15 | LPX — 이종 GPU-LPU (NVIDIA) | I. Arsovski & S. Raghavan, NVIDIA |
| 2:15 | Cerebras 랙스케일 아키텍처 (Wafer Scale Engine) | J.P. Fricker, Cerebras |
| 2:15 | MAIA 200 — 데이터센터 스케일 AI 시스템 (Microsoft) 주목 | P. Ranjan & J. Peng, Microsoft |
| 화 8/25 · AI 2 ★ 하이라이트 | ||
| 4:45 | Dataflow at Scale — SN50 RDU (SambaNova) | Raghu Prabhakar, SambaNova |
| 4:45 | 8세대 TPU — 학습·서빙 분리 두 칩 (Agentic Era) 주목 | N. Jouppi & S. Lakshmanamurthy, Google |
| 4:45 | You Can Just Build Things … Chips — OpenAI 첫 칩 주목 | R. Ho, R. Narayanaswami & C. Leary, OpenAI |
학계 포스터 — 오픈소스 실리콘과 새로운 컴퓨팅
본회의 발표가 대기업 제품 위주라면, 포스터는 대학·연구소의 최전선입니다. 오픈소스 실리콘 교육(ETH Zurich Croc, Tokyo·PNNL의 엔드투엔드 컴파일러), 광 컴퓨팅(Opticore 포토닉 크로스바), 열역학 컴퓨팅(Normal Computing CN101), 그리고 임베디드 에이전트용 프로세서(KAIST)까지 다양합니다.
| 제목 | 소속 |
|---|---|
| Croc — 도메인 특화 엔드투엔드 오픈소스 실리콘 교육 | ETH Zurich |
| Gemmelos — Intel 16 멀티모달 엣지 AI 듀얼칩 플랫폼 | UC Berkeley |
| Pistil — 20-칩렛 2.5D SiP 분산 SLM 추론 가속기 | Harvard |
| 대규모 호모다인 포토닉 크로스바 텐서 프로세싱 | Opticore |
| Python to Silicon — 오픈소스 HW 컴파일러 첫 테이프아웃 | PNNL |
| ETHEREAL — 17µs 지연 이벤트 기반 GNN 비전 프로세서 | KU Leuven, TU Delft |
| LUTs and Bolts — MVM 엔진 내장 28nm eFPGA SoC | CMU |
| HiVec — 웨어러블용 RISC-V SoC 내 CGRA | A*STAR, NUS |
| CN101 — 디지털 CMOS 열역학 컴퓨팅 | Normal Computing |
| 마이크로아키텍처-실리콘 엔드투엔드 RISC-V CPU 설계 강좌 | University of Tokyo |
| 저전력 실시간 비전-언어 내비게이션 프로세서 (임베디드 에이전트) KR | KAIST |
등록 & 실용 정보
- 장소 — Memorial Auditorium, Stanford University, Palo Alto, CA (실리콘밸리 중심)
- 구성 — 일요일 튜토리얼(메모리·RISC-V) + 리셉션 → 월·화 본회의. 매일 리셉션으로 네트워킹
- 핵심 동선 — 아키텍처 입문·메모리는 일요일 튜토리얼, GPU 대전은 월요일 오후, 하이퍼스케일러 커스텀 칩과 OpenAI는 화요일 오후(AI 1·2)에 몰려 있습니다
- 현장 참가 팁 — 스폰서 테이블이 강연장 옆 브레이크 구역에 배치돼 데모·채용 접점이 됩니다. 한국 팹리스 스타트업 부스도 이곳에
누구에게 추천하나
- AI 반도체·시스템 아키텍트 — Rubin·MI400·TPU v8의 마이크로아키텍처가 처음 공개되는 자리. 1년치 데이터센터 로드맵을 하루에 봅니다
- 메모리 종사자 — HBM의 다음, PIM, CXL, HBF까지 memory wall을 넘는 시도가 한자리에. 한국 산업과 직접 연결
- 차량용 반도체·자율주행 엔지니어 — Waymo 키노트 + 차량용 AI SoC(칩렛·센서 퓨전)로 데이터센터 기법이 차량으로 내려오는 흐름 확인
- 전략·투자 관점 — 하이퍼스케일러 커스텀 실리콘 대 상용 GPU의 build vs buy 전선이 실물 칩으로 그어지는 현장
마무리
Hot Chips 2026을 한 문장으로 요약하면, 작년에 로드맵으로 발표된 칩들이 올해 실리콘이 되어 서로 스펙을 까고, 그 칩들이 하나같이 "에이전트를 위해 설계됐다"고 말하는 회차입니다. 여기에 OpenAI가 처음으로 칩 제작자로 합류하면서, 소프트웨어 회사와 칩 회사의 경계가 한 겹 더 얇아졌습니다. 현장에 가지 못하더라도, 위 세션 제목만 순서대로 훑어봐도 올해 AI 반도체의 지형도가 손에 잡힙니다. 스펙 숫자 뒤에 있는 "이 칩이 어떤 워크로드를 위해 만들어졌나"라는 질문을 놓치지 않는 게, 이번 학회를 읽는 가장 좋은 렌즈입니다.