이 책은 무엇인가
일반적인 AI 개론서가 아니다. 저자가 자기 견해를 논증하는 책도 아니다. 인터뷰 기록을 1차 사료로 삼아 한 시대를 재구성한 구술사(oral history)다.
드와케시 파텔(Dwarkesh Patel)은 AI 연구자·경제학자·역사학자를 상대로 비정상적으로 준비가 잘 된 장시간 인터뷰를 해온 팟캐스터다. 그가 축적한 것은 결국 스케일링 가설이 실제로 작동하던 6년간, 그 한복판에 있던 사람들이 실시간으로 남긴 증언 아카이브였다.
공저자 개빈 리치(Gavin Leech)는 이 방대한 구술을 주제별로 재배열하고, 각 발언에 필요한 기술적·역사적 각주를 붙이는 역할을 맡았다. 그래서 이 책은 두 개의 층위로 읽힌다. 위층은 연구자들의 목소리, 아래층은 그 목소리가 무엇을 전제하고 있는지 설명하는 편집자의 주해다.
왜 팟캐스트 녹취가 사료가 되는가
2019–2025년의 결정적 판단 대부분은 논문에 쓰이지 않았다. 논문은 결과를 보고할 뿐, 왜 그 방향에 수억 달러를 걸었는지는 말하지 않는다. 그 이유는 슬랙 메시지, 복도 대화, 그리고 장시간 인터뷰에만 남았다. 이 책의 형식적 주장은 명확하다 — 시대의 동기는 논문이 아니라 증언에 있다.
읽는 법에 대한 경고
구술사는 사후 정리된 역사가 아니라 진행 중인 기록이다. 이 책 안에서 서로 정면으로 충돌하는 주장들이 나란히 실려 있고, 저자는 어느 쪽이 옳은지 판정하지 않는다. 그것이 결함이 아니라 설계 의도다.
따라서 “이 책이 무엇을 주장하는가”보다 “2023년의 이 사람은 무엇을 알 수 있었고, 무엇을 몰랐는가”를 물으며 읽어야 한다.
‘스케일링의 시대’라는 시대 구분
제목이 이미 하나의 역사적 주장이다. 2019–2025는 그 전과도, 아마도 그 후와도 구별되는 고유한 시대라는 것.
이 시대를 정의하는 것은 특정 모델이나 회사가 아니라 하나의 믿음이다. 지능을 만들기 위해 지능의 구조를 이해할 필요는 없다. 충분히 일반적인 학습 목표 (다음 토큰 예측)와 충분히 큰 규모를 결합하면, 이해는 부산물로 따라온다.
시대의 3단 구조
- 발견 (2019–2020) — GPT-2가 “규모를 키우면 질적으로 다른 일이 생긴다”는 것을 보여주고, 스케일링 법칙 논문이 그 관계를 수식으로 만든다. 직관이 공학이 되는 순간.
- 산업화 (2021–2023) — 법칙을 믿는 조직에 자본이 몰린다. 클러스터, 데이터센터, 전력, 그리고 사람. 연구 문제가 물류·자본 조달 문제로 바뀐다.
- 균열과 전환 (2024–2025) — 사전학습의 수확이 체감하기 시작한다는 신호, 고품질 데이터의 고갈, 그리고 추론 시간 연산과 강화학습으로의 무게중심 이동. 스케일링은 끝난 게 아니라 축이 바뀐다.
“우리가 한 일은 새로운 아이디어를 발명한 게 아니다. 오래된 아이디어에 전례 없는 규모를 허용한 것이다. 놀라운 것은 그게 통했다는 사실이 아니라, 얼마나 부드럽게, 얼마나 예측 가능하게 통했는가다.”
책의 긴장은 여기서 나온다. 예측 가능성은 투자자에게는 축복이지만, 과학자에게는 불편한 사실이다. 왜 통하는지 아무도 정확히 설명하지 못한 채 통하고 있었기 때문이다.
연표 — 시대를 만든 전환점
각 항목의 파란 줄은 “이 사건이 왜 시대를 바꿨는가”다.
규모만 키운 언어모델이 그럴듯한 문장을 넘어 과제 일반화의 조짐을 보인다. 단계적 공개 논쟁이 시작된다.
손실이 모델 크기·데이터·연산량의 거듭제곱으로 매끄럽게 떨어진다는 경험 법칙이 정식화된다. GPT-3는 그 법칙의 첫 대규모 베팅이자 퓨샷 학습의 증명이었다.
안전과 스케일링을 동시에 추구하겠다는 조직이 갈라져 나온다. 코드 생성은 언어모델이 ‘검증 가능한 유용성’을 갖는 첫 영역이 된다.
“모델을 키우기만 했지 데이터를 충분히 안 먹였다”는 재교정이 나오고, 인간 피드백 기반 강화학습이 원시 모델을 제품으로 바꾼다. 연말, 일반 대중이 처음으로 이 시대를 직접 만진다.
능력의 도약이 확인되면서 프런티어 학습 비용이 수억 달러 단위로 올라선다. 인터뷰의 주제가 ‘가능한가’에서 ‘언제, 얼마나 빨리’로 이동한다.
칩 공급, 전력, 데이터센터 부지가 실질 제약으로 등장한다. 고품질 인간 텍스트가 유한하다는 사실이 현실적 문제로 취급되기 시작한다.
학습 때가 아니라 답을 생성할 때 연산을 더 쓰는 방향이 새 스케일링 축으로 자리잡는다. 책은 바로 이 전환점에서, 시대가 끝났는지 아닌지 모르는 채로 출간된다.
핵심 개념 8가지
이 8개를 이해하면 책의 어느 페이지에 떨어져도 문맥을 잡을 수 있다.
scaling laws모델 파라미터 수(N), 학습 데이터량(D), 연산량(C)을 늘리면 예측 손실 L이 거듭제곱 꼴로 매끄럽게 감소한다는 경험적 규칙. 로그–로그 축에서 직선이 되기 때문에 아직 만들지 않은 모델의 성능을 외삽할 수 있다.
compute-optimal scaling같은 연산 예산이라면 파라미터와 토큰을 대략 비례해서 늘리는 것이 최적이라는 재교정. 이전 세대 모델들은 과하게 크고 덜 먹은 상태였다는 진단이었다.
prediction = compression = understanding다음 토큰을 잘 예측하려면 텍스트를 만들어낸 세계의 구조를 내부에 재구성할 수밖에 없다는 주장. 추리소설의 마지막 문장에서 범인 이름을 맞히려면 실제로 추론해야 한다는 비유가 이 계열의 대표적 논증이다.
emergence손실은 매끄럽게 줄어드는데, 특정 과제 성능은 어느 규모에서 갑자기 나타나는 현상. 다만 상당 부분은 평가 지표가 불연속(정답/오답)이라서 생긴 착시라는 반론도 함께 실린다.
the data wall인터넷의 고품질 인간 텍스트는 유한하고, 프런티어 학습은 이미 그 상당 부분을 소비했다. 탈출로는 세 가지다 — 합성 데이터, 검증 가능한 과제에서의 강화학습, 멀티모달·행동 데이터.
inference-time / test-time compute학습을 더 하는 대신, 답을 낼 때 더 오래 생각하게 만드는 축. 사고 사슬을 길게 펼치고, 여러 후보를 탐색하고, 검증 가능한 도메인에서 강화학습으로 그 과정을 다듬는다.
no continual learning현재 모델은 배포 후 경험으로부터 배우지 않는다. 컨텍스트 창은 단기 기억일 뿐이고, 세션이 끝나면 사라진다. 신입 사원은 6개월이면 숙련되지만 모델은 그렇지 않다.
intelligence explosionAI가 AI 연구를 수행할 수 있게 되면 연구 인력을 연산량으로 복제할 수 있고, 개선 속도가 자기 가속한다는 논변. 책은 이를 SF가 아니라 인구 증가와 성장률의 문제로 다룬다.
화자 지도 — 누가 무엇을 걸었는가
아래는 각 인물의 대표 입장을 요약한 것이며, 인용부호 안의 문장도 직접 인용이 아니라 논지의 의역이다. 정확한 표현은 원서를 확인할 것.
일리야 수츠케버 (Ilya Sutskever)
“예측은 곧 압축이고, 압축은 곧 이해다.” 신경망이 왜 작동하는지에 대해 가장 형이상학적인 답을 가진 사람.
다리오 아모데이 (Dario Amodei)
스케일링을 처음 ‘직감’이 아니라 ‘추세선’으로 다룬 사람 중 하나. 능력과 위험이 같은 곡선 위에 있다는 것이 그의 조직 논리다.
데미스 허사비스 (Demis Hassabis)
언어모델 경쟁과는 다른 기준을 제시한다. 단백질 구조, 물질 설계처럼 검증 가능한 과학 문제에서의 성과가 진짜 시험대라는 입장.
재러드 카플란 (Jared Kaplan)
이론물리에서 건너와 스케일링 법칙에 물리학의 언어를 부여했다. 임계 현상과 거듭제곱 법칙의 감각이 이 분야에 들어온 경로.
안드레이 카파시 (Andrej Karpathy)
능력의 진보는 인정하되, ‘들쭉날쭉한 지능’과 지속 학습의 부재를 강조한다. 데모와 실제 노동의 간극을 가장 구체적으로 말하는 목소리.
프랑수아 숄레 (François Chollet)
벤치마크 성능은 기억과 보간으로도 오른다고 본다. 학습 분포 밖의 새로운 규칙을 그 자리에서 합성하는 능력을 별도로 측정해야 한다는 입장.
숄토 더글러스 & 트렌튼 브리켄
학습 인프라의 현실과 모델 내부 해석 연구를 잇는 대담. 중첩(superposition)과 희소 특징 분해가 왜 안전 문제에 직결되는지를 설명한다.
칼 슐먼 (Carl Shulman)
AI 연구자를 연산으로 복제할 수 있다면 경제 성장률 자체가 다른 체제로 넘어간다고 본다. 책에서 가장 길고 촘촘한 추론 사슬 중 하나.
딜런 파텔 (Dylan Patel)
웨이퍼, 첨단 패키징, 고대역폭 메모리, 변전 설비. 추상적 타임라인 논쟁을 납기와 전력 계약의 문제로 끌어내린다.
레오폴드 아셴브레너 (Leopold Aschenbrenner)
추세 외삽을 안보 문제로 번역한다. 프런티어 학습이 국가급 인프라 사업이 되면 연구실 보안과 수출 통제가 핵심 변수가 된다는 시각.
폴 크리스티아노 (Paul Christiano)
파국을 단언하지도, 무시하지도 않는다. 위험을 확률과 조건으로 분해하고, 검증 가능한 정렬 기법이 어디까지 확장될 수 있는지를 따진다.
엘리저 유드코프스키 (Eliezer Yudkowsky)
이해하지 못한 최적화 과정을 계속 키우는 것 자체가 치명적 실수라고 본다. 책에서 스케일링 낙관론의 반대극을 담당한다.
네 개의 병목
이 시대가 계속될지 여부는 아래 네 축이 언제 어디서 막히느냐로 결정된다.
| 축 | 지금까지의 추세 | 막히는 지점 | 알려진 우회로 |
|---|---|---|---|
| 연산 (Compute) | 프런티어 학습 연산 ≈ 연 4–5배 | 첨단 패키징·HBM 공급, 단일 파운드리 의존, 자본 회수 압력 | 가속기 효율 개선, 저정밀 연산, 학습 분산·비동기화 |
| 데이터 (Data) | 고품질 웹 텍스트 ≈ 10¹³–10¹⁴ 토큰대 | 인간이 쓴 양질 텍스트의 유한성, 저작권·접근 제약 | 합성 데이터, 검증 가능한 과제의 RL, 영상·행동·센서 데이터 |
| 전력 (Energy) | 학습 클러스터 100MW → GW급 | 송배전 증설 리드타임, 변압기·터빈 납기, 부지 인허가 | 기존 발전 자산 확보, 자가발전, 지리적 분산 학습 |
| 알고리즘 (Algorithms) | 동일 성능의 연산 비용 지속 하락 | 지속 학습·장기 기억·신뢰 가능한 에이전트가 미해결 | 추론 시간 연산, 강화학습, 기억 구조, 도구 사용 |
숫자는 책과 공개 자료에서 반복 인용되는 대략적 크기의 감각을 옮긴 것이며, 정밀한 추정치가 아니다. 이 표의 요점은 값이 아니라 병목이 알고리즘에서 물리로, 다시 알고리즘으로 옮겨 다녔다는 구조다.
중심 쟁점 — 스케일만으로 충분한가
책이 판정을 내리지 않는, 바로 그 논쟁. 양쪽 모두 같은 데이터를 본다.
- 손실 곡선은 여러 자릿수에 걸쳐 한 번도 꺾이지 않았다. 꺾인다는 주장에 증거가 필요하다.
- “이건 못 할 것”이라던 과제들이 규모 증가만으로 차례로 무너져 왔다. 회의론은 반복해서 틀렸다.
- 예측을 잘하려면 세계 모형이 필요하다. 압축은 이해의 우회로가 아니라 이해 그 자체다.
- 남은 결함(환각, 장기 과제 실패)은 원리적 한계가 아니라 훈련 신호의 부재에 가깝다.
- 추론 시간 연산이라는 두 번째 축이 열렸다. 하나의 축이 둔화해도 시대는 끝나지 않는다.
- 벤치마크 상승과 실제 경제 산출 사이의 간극이 좁혀지지 않는다. 무언가 측정되지 않고 있다.
- 모델은 경험에서 배우지 못한다. 지속 학습 없이는 ‘동료’가 아니라 ‘도구’에 머문다.
- 새로운 규칙을 그 자리에서 합성하는 능력이 스케일과 함께 자란다는 것은 확인되지 않았다.
- 데이터가 유한하다. 합성 데이터가 진짜 새 정보를 만드는지는 아직 미결이다.
- 거듭제곱 법칙은 본질적으로 수확 체감이다. 같은 이득의 비용이 매번 자릿수로 늘어난다.
이 논쟁을 제대로 읽는 법
양쪽이 실제로 다투는 것은 사실이 아니라 입증 책임이다. 낙관론은 “추세가 멈춘다는 쪽이 증명하라”고 하고, 회의론은 “추세가 우리가 원하는 능력으로 이어진다는 쪽이 증명하라”고 한다. 같은 그래프를 놓고 기본값을 어디에 두느냐가 다를 뿐이다.
그리고 이것이 책이 판정하지 않는 진짜 이유다. 판정은 증거가 아니라 시간이 한다.
정렬, 해석가능성, 그리고 통제
스케일링이 실제로 작동한다는 사실은, 안전 문제를 철학에서 공학으로 끌어내렸다.
문제의 구조
정렬 문제의 핵심은 모델이 나쁜 의도를 갖는다는 것이 아니다. 우리가 원하는 것을 측정 가능한 목표로 옮길 수 없다는 것이다. 인간 피드백으로 훈련하면 모델은 ‘좋은 답’이 아니라 ‘인간이 좋다고 평가할 답’에 최적화된다. 두 목표는 능력이 낮을 때는 거의 같고, 능력이 높아질수록 갈라진다.
세 갈래의 대응
- 행동 기반 — RLHF, 헌법적 AI, 레드팀. 빠르고 실용적이지만 표면을 다룬다.
- 해석가능성 — 모델 내부의 특징과 회로를 직접 읽는다. 중첩 현상 때문에 뉴런 하나가 여러 개념을 겹쳐 쓰고 있다는 것이 밝혀졌고, 희소 분해로 이를 풀어내는 연구가 진행됐다. 근본적이지만 느리다.
- 통제·거버넌스 — 평가 체계, 학습 연산 임계값, 모델 가중치 보안, 수출 통제. 기술이 아니라 제도로 시간을 버는 접근.
“우리는 이제 모델 안에서 사람이 알아볼 수 있는 개념 단위를 찾아낼 수 있다. 문제는 그 해독 속도가 모델이 커지는 속도를 따라잡지 못한다는 것이다.”
책이 이 주제에서 취하는 태도는 일관되게 비극적이다. 같은 사람들이 가장 빠르게 만들면서 동시에 가장 위험하다고 말한다. 그 모순을 해소하지 않고 그대로 기록한 것이 이 구술사의 가장 정직한 부분이다.
이 책이 남긴 것 — 지금 읽는다면
출간 이후 시간이 지나면서, 이 책의 가치는 ‘예측서’가 아니라 ‘판단의 표본’ 쪽으로 옮겨갔다.
1. 틀린 예측이 더 값지다
누가 맞혔는지는 금방 알 수 있다. 중요한 것은 왜 그때 그렇게 생각하는 것이 합리적이었는가다. 이 책은 각 시점에서 어떤 증거가 있었고 어떤 것이 없었는지를 보존하기 때문에, 불확실성 아래의 판단을 연구하는 자료가 된다.
2. 시대 구분이 시험대에 올랐다
사전학습 중심의 스케일링이 유일한 축이 아니게 되면서, ‘스케일링의 시대’를 닫힌 한 시기로 볼지 아니면 더 큰 흐름의 1막으로 볼지가 열린 질문이 됐다. 저자들이 끝을 선언하지 않은 것은 결과적으로 가장 안전하고 정확한 선택이었다.
3. 물리가 서사를 이겼다
책의 후반으로 갈수록 대화의 무게중심은 이론에서 전력·칩·부지로 이동한다. 이후의 전개가 확인해준 것도 대체로 이것이다 — AI의 속도를 결정한 것은 아이디어보다 인프라였다.
이런 독자에게 권한다
- 기술 의사결정자 — 지금의 로드맵이 어떤 가정 위에 서 있는지 역추적하려는 사람
- 연구자·엔지니어 — 논문에 안 적힌 설계 동기와 조직의 내부 논리를 알고 싶은 사람
- 정책·투자 종사자 — 추세 외삽 논변의 구조와 그 약점을 동시에 파악하려는 사람
- 회의론자 — 가장 강한 형태의 반대 논증을 원본으로 읽고 싶은 사람
읽는 순서 제안
- 스케일링 법칙과 그 물리적 직관 — 나머지 전부의 전제다
- 낙관론의 가장 강한 버전 (수츠케버·아모데이 계열)
- 회의론의 가장 강한 버전 (숄레·카파시 계열) — 2번 직후에 읽어야 효과가 있다
- 연산·전력·공급망 — 앞의 논쟁을 현실로 착지시킨다
- 정렬과 거버넌스 — 앞의 모든 것이 사실이라면 무엇을 해야 하는가
용어집
pre-training대규모 코퍼스에서 다음 토큰 예측만으로 일반 능력을 획득하는 단계. 연산의 대부분이 여기 들어간다.
post-training지시 따르기, 인간 피드백 강화학습 등으로 원시 모델을 쓸 수 있게 다듬는 단계.
인간 피드백 기반 강화학습사람의 선호 비교로 보상 모델을 만들고 그 보상을 최적화. 유용성의 원천이자 아첨 문제의 원천.
few-shot / in-context learning가중치를 바꾸지 않고 프롬프트 안의 예시만으로 새 과제를 수행하는 능력.
chain of thought답을 내기 전 중간 추론을 토큰으로 펼치는 것. 추론 시간 스케일링의 기본 단위.
superposition뉴런 수보다 많은 개념을 겹쳐서 표현하는 현상. 해석가능성이 어려운 구조적 이유.
mixture of experts토큰마다 일부 파라미터만 활성화해 총 크기 대비 연산을 줄이는 구조.
부동소수점 연산연산량의 단위. 프런티어 학습은 10²⁵ FLOPs 규모대에서 논의된다.
synthetic data모델이 생성한 데이터로 다시 모델을 학습시키는 방식. 데이터 벽의 주요 우회로 후보.
jagged intelligence과제에 따라 능력 편차가 극단적인 현상. 평균 지표가 오해를 낳는 이유.
agent도구를 쓰며 여러 단계에 걸쳐 목표를 수행하는 시스템. 오류가 누적되는 것이 최대 난점.
intelligence explosionAI가 AI 연구를 수행해 개선이 자기 가속하는 시나리오. 책의 가장 논쟁적인 축.