LLM의 역사와 현황 — Transformer에서 에이전트까지

목차

• 1. 세 번의 도약으로 읽는 AI
• 2. Transformer 이전 — 순차 처리의 두 벽
• 3. Transformer(2017) — 진짜 혁신은 '병렬화'
• 4. GPU 이야기는 2012년부터 — 사슬의 시작
• 5. 스케일링 시대 — 크게 만들수록 좋아진다
• 6. ChatGPT — 기술이 자본을 만나는 순간
• 7. 전환 — 사전학습에서 추론, 그리고 에이전트로
• 8. 정리 — 청구서는 하드웨어로 내려온다
• 9. 자주 묻는 질문 (FAQ)

1. 세 번의 도약으로 읽는 AI

요즘 AI 이야기는 대개 모델 이름과 벤치마크 점수에서 시작합니다. 그런데 한 걸음 뒤로 물러서 보면, 지금의 LLM 붐은 갑자기 튀어나온 것이 아니라 세 번의 도약이 쌓인 결과입니다.

• 2012년 — GPU가 딥러닝을 실용화했습니다 (AlexNet)
• 2017년 — Transformer가 병렬화로 대형 모델의 길을 열었습니다
• 2024년 — 추론(reasoning) 모델이 '생각하는 시간'이라는 새 축을 더했습니다

그리고 이 세 도약이 하나같이 하드웨어와 맞물려 있었다는 점이 이 시리즈의 출발점입니다. 아래에서 이 흐름을 한 걸음씩, 각 전환이 왜 일어났고 그것이 어떤 하드웨어를 불러냈는지를 따라가 보겠습니다.

2. Transformer 이전 — 순차 처리의 두 벽

Transformer 이전, 문장을 다루는 대표 신경망은 RNN(순환 신경망)과 그 개량형 LSTM이었습니다. 작동 방식은 이름 그대로 '순환'입니다. 단어를 하나씩 순서대로 읽으면서, 앞까지 읽은 내용을 내부 상태(hidden state)에 요약해 다음 단어로 넘깁니다. 사람처럼 왼쪽에서 오른쪽으로 읽는 셈입니다.

직관적이지만, 이 구조에는 두 개의 근본적인 벽이 있었습니다.

벽 1 — 순차 처리라 병렬화가 안 된다

앞 단어를 처리해야 그 결과를 받아 다음 단어를 처리할 수 있습니다. 즉 문장을 한꺼번에 계산할 수 없습니다. 문장이 길어질수록 계산이 한 줄로 늘어서기만 하니, 아무리 빠른 하드웨어를 붙여도 순서를 기다리느라 속도가 나지 않았습니다. Transformer 논문 자신도 RNN의 "본질적으로 순차적인 성질이 훈련 예시 안에서의 병렬화를 가로막고, 이는 문장이 길어질수록 치명적이 된다"고 지적합니다.

벽 2 — 멀리 있는 단어를 잊는다

내부 상태는 크기가 정해져 있는데, 단어를 하나 지날 때마다 거기에 정보를 눌러 담습니다. 그러다 보니 문장이 길면 앞쪽 단어의 정보가 뒤로 갈수록 희미해집니다(이른바 장기 의존성 문제). "그 남자는 … 오랜 여행 끝에 … 지쳤다" 같은 문장에서 '남자'와 '지쳤다'가 멀리 떨어지면 연결이 끊기는 식입니다. LSTM은 정보를 선택적으로 기억·망각하는 '게이트'로 이 문제를 완화했지만, 벽 1(순차 처리)은 끝내 풀지 못했습니다.

정리하면, RNN 시대의 언어 모델은 길어질수록 느려지고 길어질수록 잊는 구조였습니다. 이 두 벽을 한 번에 넘은 것이 Transformer입니다.

3. Transformer(2017) — 진짜 혁신은 '병렬화'

2017년 6월, 구글 연구진 여덟 명이 "Attention Is All You Need"라는 논문을 내놓습니다. 제목 그대로, 순환 구조를 완전히 버리고 어텐션(attention)이라는 메커니즘 하나로 문장을 처리하는 구조였습니다. 어텐션 자체는 2014년에 먼저 제안된 아이디어였는데, 이 논문은 그것만으로 전체를 세운 첫 시도였습니다.

어텐션이 바꾼 것을 역사적 수준에서 한마디로 하면 이렇습니다. 모든 단어가 문장 안의 모든 단어를 거리와 상관없이 한 번에 직접 바라본다. '남자'와 '지쳤다'가 아무리 멀어도 곧바로 연결되고(벽 2 해결), 순서를 기다릴 필요가 없으니 전부 동시에 계산됩니다(벽 1 해결). 두 벽이 한 구조에서 같이 무너진 겁니다. (어텐션이 구체적으로 어떻게 계산되는지는 다음 편에서 따로 깊게 다룹니다.)

Transformer는 처음엔 기계 번역용으로 나왔지만, 곧 언어 처리 전반의 표준 골격이 됩니다. 2018년 구글의 BERT와 OpenAI의 GPT-1이 모두 이 구조 위에 세워졌고, 이후 우리가 아는 거의 모든 LLM이 Transformer의 후손입니다.

4. GPU 이야기는 2012년부터 — 사슬의 시작

병렬화가 왜 그렇게 중요했는지 이해하려면, 사실 Transformer보다 5년 앞으로 가야 합니다. 딥러닝과 GPU의 결합은 2012년 AlexNet에서 시작됐습니다. 이미지 인식 대회(ImageNet)에서 GPU로 학습한 신경망이 기존 방식을 압도적 격차로 이기면서, "GPU + 딥러닝"이 실용적이라는 것을 처음으로 증명한 순간입니다. 지금의 AI 붐은 사실상 이때 방아쇠가 당겨졌습니다.

왜 하필 GPU였을까요? GPU는 원래 그래픽을 그리려고, 같은 계산을 수천 개 동시에 처리하도록 설계된 칩입니다. 화면의 수백만 픽셀을 한꺼번에 칠하는 일과, 신경망의 거대한 행렬 곱셈은 계산 구조가 똑같습니다. CPU가 소수의 일을 아주 빠르게 처리하는 데 강하다면, GPU는 단순한 일을 엄청나게 많이 동시에 하는 데 강합니다. 딥러닝이 원하는 게 정확히 후자였습니다.

여기서 Transformer가 결정적이었던 이유가 드러납니다. RNN은 순차 의존성 때문에 GPU를 줘도 절반밖에 못 썼지만, Transformer는 순서를 기다리지 않으니 GPU의 병렬성을 100% 끌어 씁니다. "병렬화 가능한 알고리즘"과 "병렬 처리 하드웨어"가 완벽히 맞아떨어진 겁니다. 논문의 기본 모델은 엔비디아 P100 GPU 8장으로 12시간, 더 큰 모델도 3.5일이면 당시 최고 성능에 도달했습니다.

이후 방향은 아예 하드웨어에 맞춰 알고리즘을 설계하는 단계로 넘어갑니다. 엔비디아의 Megatron-LM은 하나의 모델을 여러 GPU에 쪼개어 나눠 수십억 파라미터까지 학습했습니다. 모델이 한 칩에 안 들어가니 칩을 여러 개 묶는 방식이 표준이 된 것입니다.

5. 스케일링 시대 — 크게 만들수록 좋아진다

큰 모델을 학습할 길이 열리자, 다음 질문은 자연스럽게 "그럼 얼마나 키워야 하나"가 되었습니다. OpenAI의 GPT 계보가 이 질문에 대한 실험이었습니다.

2년 만에 파라미터가 117M에서 175B로 약 1,500배 커졌습니다. 그리고 신기하게도, 키우면 키울수록 성능이 좋아졌습니다. 이걸 경험적으로 정리한 것이 스케일링 법칙입니다.

2020년 OpenAI 연구진(Kaplan 외)은 모델 크기·데이터·연산량을 키울수록 모델의 오차가 거듭제곱 꼴로 매끄럽게 낮아진다는 것을, 무려 7자리 수 규모에 걸쳐 보였습니다. 이게 왜 중요하냐면 — 개선이 '예측 가능'해졌기 때문입니다. "여기에 돈(=연산과 데이터)을 이만큼 부으면 성능이 이만큼 좋아진다"를 그래프로 그릴 수 있게 되자, 기업들은 확신을 갖고 자본을 쏟아붓기 시작했습니다. GPT-3는 이 처방을 그대로 따른 결과였고, 별도 학습 없이 예시 몇 개만으로 과제를 푸는 도약을 보여 주며 경쟁에 불을 붙였습니다. (GPT-4의 정확한 파라미터 수와 구조는 OpenAI가 공개하지 않았습니다.)

6. ChatGPT — 기술이 자본을 만나는 순간

스케일링이 성능을 밀어 올리는 동안에도, AI는 여전히 연구자와 개발자의 영역이었습니다. 이 판을 바꾼 것이 2022년 11월 말 공개된 ChatGPT입니다. 기술적으로 완전히 새로운 것은 아니었지만(GPT-3.5를 대화형으로 다듬은 것), 누구나 대화창에 말을 걸면 답하는 형태로 포장되자 순식간에 대중에게 퍼졌습니다.

반도체 관점에서 ChatGPT의 진짜 의미는 여기 있습니다. 이 순간부터 AI가 '연구'가 아니라 '제품'이 되었고, 제품에는 사용자가 있고, 사용자가 많아지면 추론(inference)을 돌릴 하드웨어가 폭발적으로 필요해집니다. 학습은 한 번 하면 끝이지만, 서비스는 사용자가 쓸 때마다 계산을 돌려야 합니다. 스케일링이 '학습용' 하드웨어 수요를 키웠다면, ChatGPT는 '서비스용' 하드웨어 수요라는 새 문을 열었습니다. 엔비디아 GPU 품귀와 그 뒤의 HBM·패키징 병목이 본격화된 것이 정확히 이 시점 이후입니다.

7. 전환 — 사전학습에서 추론, 그리고 에이전트로

스케일링의 시대는 주로 사전학습(pretraining)을 키우는 경쟁이었습니다. 더 큰 모델을 더 많은 데이터로 더 오래 학습시키는 것이죠. 그런데 2024년, 흐름이 한 번 더 꺾입니다. OpenAI가 o1(2024년 9월 발표)을 내놓으면서, 답을 내기 전에 스스로 더 오래 '생각'하도록 강화학습으로 훈련된 모델을 선보인 것입니다.

여기서 결정적인 것은 스케일링 축이 하나 더 생겼다는 점입니다. 기존에는 '학습 때' 성능을 키웠다면, 이제는 '추론 때' 생각할 시간을 더 줘서도 성능을 끌어올릴 수 있게 됐습니다. OpenAI 자신도 이 방식의 제약이 "사전학습과는 상당히 다르다"고 밝혔습니다. 즉 '더 큰 모델' 말고 '더 오래 생각하는 추론'이라는 두 번째 다이얼이 생긴 겁니다.

이 전환이 반도체 입장에서 왜 중요할까요? 추론 모델은 답 하나를 내기 위해 훨씬 긴 '생각'을 풀어놓습니다. 한 측정에서 o1 계열은 답 하나에 약 5,000개 안팎의 추론 토큰을 만들었는데, 이는 비추론 모델(약 500개)의 열 배 수준입니다. 토큰이 열 배로 늘면, 그 과정을 저장하는 메모리 부담도 그만큼 커집니다. 이 대목이 바로 다음 편(KV cache)의 출발점입니다.

그리고 이 흐름은 곧 에이전트로 이어집니다. 에이전트는 한 번 답하고 끝나는 게 아니라, 여러 번 주고받고 도구(검색·코드 실행 등)를 쓰면서 긴 작업을 스스로 수행합니다. OpenAI의 Deep Research, 앤트로픽 기반의 코딩 도구들, Manus 같은 범용 에이전트가 이 방향의 사례입니다. 대화 한 번이 아니라 수십 번의 사고가 쌓이니, 메모리와 연산 부담은 또 한 단계 뛰어오릅니다.

효율화도 이 시대의 큰 축입니다. 대표적으로 딥시크의 DeepSeek-R1(2025년 1월)은 전체 6,710억 파라미터 중 토큰당 370억만 활성화하는 MoE(전문가 혼합) 구조로, 딥시크의 자체 평가 기준 o1과 비슷한 추론 성능에 도달했다고 밝혔습니다. "무조건 다 켜지 않고 필요한 부분만 켠다"는 이 효율화 흐름은, 뒤에서 다룰 '효율이 수요를 줄이는가'라는 논쟁으로 이어집니다.

정리하면 2025~2026년 현재, LLM 연구는 대체로 세 갈래로 모입니다. 추론 시점 스케일링, 추론 능력 자체의 학습, 그리고 에이전트입니다. 사전학습 경쟁의 시대가 저물고, 추론과 에이전트가 새 전선이 된 것입니다.

8. 정리 — 청구서는 하드웨어로 내려온다

여기까지가 LLM이 걸어온 길입니다. GPU 혁명(2012) → 순차 처리의 벽 → 병렬화(Transformer, 2017) → GPU와의 공진화 → 스케일링 → ChatGPT의 제품화 → 추론과 에이전트. 매 전환이 그다음 전환을, 그리고 결국 하드웨어를 불러냈습니다.

투자의 관점에서 이 역사는 왜 엔비디아가 이 시대의 중심이 되었는지를 설명합니다. "병렬화 가능한 알고리즘"이 표준이 되고, ChatGPT로 서비스 수요까지 붙는 순간, 병렬 처리에 특화된 GPU 수요는 구조적으로 커질 수밖에 없었습니다. 다음 편들에서 이 가치가 메모리·패키징·전력으로 어떻게 번져 가는지를 따라갑니다.

다음 편에서는 한 걸음 더 안으로 들어가, LLM이 "실제로 어떻게 계산하는지" — 어텐션과 행렬곱, 그리고 그것이 왜 근본적으로 메모리 문제인지를 봅니다.