폰 노이만은 어떻게 오늘날 모든 컴퓨터의 설계도를 그렸나: '추상화'라는 무기와 그 한계
들어가며
지금 이 글을 읽고 있는 스마트폰이나 노트북은 80여 년 전 한 사람이 정리한 구조 위에서 돌아가고 있습니다. 바로 **존 폰 노이만(John von Neumann)**입니다. Ananyo Bhattacharya의 전기 『The Man from the Future: The Visionary Life of John von Neumann』은 1903년부터 1957년까지, 53년이라는 짧은 생애 동안 수많은 학문의 기초를 다진 이 천재의 삶을 따라갑니다.
이 책이 보여주는 폰 노이만의 비밀 무기는 하나로 모입니다. 바로 추상화입니다.
핵심 요약
- 폰 노이만은 복잡한 문제에서 꼭 필요한 최소한의 대상과 공리만 추려내는 방식으로 집합론, 양자역학, 게임이론, 컴퓨터, 자기복제 기계의 기초를 세웠습니다.
- 프로그램 내장형 구조에서는 명령어와 데이터를 같은 메모리에 두었고, 자기복제 기계에서는 같은 설명을 명령어로 읽을 때와 데이터로 복사할 때를 나누었습니다.
- 컴퓨터 설계를 공공 영역에 공개했고, 고장이 잦은 부품을 중복과 다수결로 묶어 믿을 수 있는 기계를 만드는 내결함성 컴퓨팅의 기초도 놓았습니다.
- 하지만 추상화에는 한계도 있었습니다. 비협력 게임이론의 중요성을 낮게 봤고, 냉전을 단순한 2인 제로섬 게임으로 본 사고는 선제 핵공격 옹호로 이어졌습니다.
- 말년에는 위험한 기술을 금지하는 것만으로는 진보가 낳은 위기를 해결할 수 없다고 봤습니다. 자동으로 안전을 보장하는 해법 대신 인내, 유연성, 지성에 기반한 일상적 판단이 필요하다고 했습니다.
1. 여러 분야를 꿰뚫은 하나의 방법론
폰 노이만이 손댄 분야를 나열하면 한 사람의 업적이라고 믿기 어려울 정도입니다.
- 수학: 집합론과 수학의 기초, 폰 노이만 대수, 에르고딕 이론
- 물리학: 양자역학의 수학적 정식화
- 경제학: 게임이론, 현대 수리경제학의 토대인 기대효용 이론
- 컴퓨팅: 몬테카를로 방법, 프로그램 내장형 컴퓨터 구조, 수치 일기예보, 내결함성 컴퓨팅
- 생물학: 자기복제 오토마타와 세포 자동자 연구. 분자생물학의 논리적 구조를 미리 짚어냈다고 볼 여지도 있습니다.
- 군사: 나가사키 원자폭탄의 내폭 렌즈 설계, 강경한 핵전략
분야는 제각각이지만 접근법은 같았습니다. 익숙한 대상을, 똑같이 작동하는 가장 작은 구조로 바꾸는 것입니다. 동료 Edward Teller는 추도사에서 "대부분의 사람에게 생각은 고통이지만, Johnny에게는 생각하는 일 자체가 즐거움이었다"고 회고했습니다.
2. 천재를 만든 부다페스트의 저녁 식탁
전설 같은 일화들
- 여섯 살에 여덟 자리 수 나눗셈을 암산하고 고대 그리스어로 대화했습니다. 이후 라틴어, 프랑스어, 독일어, 영어, 이디시어도 익혔습니다.
- Herman Goldstine이 시험 삼아 『두 도시 이야기』를 외워보라고 하자 첫 장부터 암송을 시작했고, 15분 뒤에야 제지당했다고 합니다.
- 독일어 세계사 전집 44권을 외웠다고 전해지며, 훗날 파티에서 이걸로 사람들을 놀라게 했습니다.
'화성인'들의 고향
1900년 무렵 부다페스트에서는 폰 노이만을 비롯해 Eugene Wigner, Edward Teller, Leo Szilard, Paul Erdős, Theodore von Kármán, George Pólya 같은 인재가 쏟아져 나왔습니다. 로스앨러모스에서 이들 중 일부가 같은 고등학교 출신이라는 사실이 알려지자, Szilard는 "헝가리는 화성인의 지구 착륙을 감추기 위한 위장"이라고 농담했습니다. 이후 이들은 **The Martians(화성인들)**로 불렸습니다. 정작 Wigner는 "설명이 필요한 건 헝가리 인재 집단이 아니라 폰 노이만 한 사람"이라고 답했다고 하네요.
가정 교육과 생존
- 은행가였던 아버지 Miksa(Max)는 저녁 식탁을 토론 세미나처럼 운영했습니다. 하이네의 시, 유럽의 반유대주의, 전능의 역설 같은 주제가 오갔고, 아이들은 사업 손님에게 자금 조달 목적을 마음껏 물어볼 수 있었습니다.
- 여러 언어를 가르친 데에는 어디로든 피란할 수 있도록 대비하려는 목적도 있었습니다. 실제로 Johnny가 15세 때 공산 정권이 들어섰고, 이어 반혁명 세력이 수천 명의 유대인을 학살했습니다. 가족은 적절한 시점마다 국외로 피신해 살아남았습니다.
- 처음 10년간은 정규 학교 대신 가정교사와 아버지의 서재에서 배웠습니다. 11세에 Fasori Gymnasium에 들어가자 수학 교사 László Rátz는 자신이 가르칠 수준을 넘었다고 보고 개인 교사를 붙여주었습니다. 그 교사가 훗날 스탠퍼드 수학과장이 된 Gábor Szegő인데, 첫 수업에서 소년의 능력을 보고 눈물을 흘렸다는 이야기가 전해집니다.
3. 집합론: 개발자에게 익숙한 '최소 구조'
17세의 폰 노이만은 각 서수를 그보다 앞선 모든 서수의 집합으로 정의했습니다.
- 0 = 공집합
{} - 1 =
{0} - 2 =
{0, 1} - … 같은 방식으로 무한 서수까지
공집합과 중괄호만으로 수 체계를 쌓아 올리는 방식은 생성자가 하나인 귀납적 데이터 타입과 꼭 닮았습니다.
박사학위 논문에서는 러셀의 역설로 흔들리던 집합론에 타입 시스템과 비슷한 구분을 들여왔습니다. 다른 집합의 원소가 될 수 있는 일반 집합과, 논의할 수는 있지만 원소로는 쓸 수 없는 지나치게 큰 대상을 나눈 것이죠. 이렇게 나누면 역설은 일종의 타입 오류로 처리됩니다.
4. 양자역학을 엄밀한 수학 위에 올리다
폰 노이만은 21세에 박사학위를 받고 22세에 힐베르트가 있던 괴팅겐으로 갔습니다. 당시 하이젠베르크는 행렬역학을 막 내놓았고, 이듬해 슈뢰딩거가 파동역학을 발표했습니다. 두 이론은 같은 답을 내면서도 현실을 전혀 다르게 그렸습니다.
폰 노이만은 두 이론이 같은 힐베르트 공간을 서로 다른 좌표계로 본 것이라는 사실을 증명했습니다. 그리고 『Mathematical Foundations of Quantum Mechanics』(1932)에서 양자역학을 엄밀하게 정식화했습니다. 물리학을 전공한 저자 Bhattacharya는 지금도 이것이 가장 빈틈없는 정식화라고 평가합니다.
구조가 명확해지자 측정 문제도 또렷해졌습니다. 파동함수는 측정 장치, 검출기, 망막, 의식 있는 관찰자 중 어디에서 붕괴할까요? 폰 노이만은 어느 한 곳을 고르지는 않았지만, 경계를 어디에 두어도 수학적으로 같은 답이 나온다는 것을 증명했습니다. 이 경계를 **폰 노이만 컷(von Neumann cut)**이라고 부릅니다.
5. 게임이론: 빛나는 성과와 맹점
성과
- 1928년 미니맥스 정리를 증명했습니다. 2인 제로섬 게임에서, 가위바위보처럼 무작위성을 섞은 혼합전략까지 포함해 해를 다룰 토대를 놓은 것입니다.
- 프린스턴에서 경제학자 Oskar Morgenstern을 만났습니다. Morgenstern은 경제에 개입하면 사람들이 행동을 바꾸고, 그 때문에 개입의 근거가 된 모델이 무너지고, 사람들이 새 모델에 또 적응하는 무한 반복 문제에 막혀 있었습니다.
- 두 사람은 약 18개월 만에 600쪽 분량의 『Theory of Games and Economic Behavior』(1944)를 완성했습니다. 그 사이 폰 노이만은 로스앨러모스에서 내폭 렌즈를 설계하고 초기 컴퓨터까지 개발하고 있었습니다.
- 핵심 성과 중 하나는 기대효용의 공리화입니다. 최소한의 일관성 조건만으로 인간의 선호를 숫자로 다루는 기수적 효용 척도를 끌어냈습니다.
한계
- 이론은 제로섬 게임과 연합의 안정성에 집중했지만, 현실의 많은 상황은 제로섬이 아닙니다.
- 존 내시가 미니맥스를 일반화해 비협력 균형을 제시했을 때, 폰 노이만은 이를 "금방 이해되는 고정점 논증" 정도로 여기며 중요성을 낮게 봤습니다.
- 아이러니도 있습니다. 냉전 강경파이자 〈닥터 스트레인지러브〉의 모델로 거론되는 폰 노이만은 대화와 협력 연합을 이론의 중심에 두었습니다. 반면 대인관계에 서툴렀던 내시는 각자가 홀로 최적화하는 상황을 정식화했습니다.
모든 모델은 틀렸지만, 일부는 유용하다.
6. 컴퓨터 구조를 모두에게 공개하다
- 1944년, 애버딘 기차역 승강장에서 Herman Goldstine을 우연히 만나 ENIAC을 알게 되었고 프로젝트에 합류했습니다.
- 1945년 「First Draft of a Report on the EDVAC」에서 프로그램 내장형 구조를 정리했습니다.
- 하나의 메모리에 명령어와 데이터를 함께 저장
- 제어장치, 연산장치, 입출력 장치
- 80년이 지난 지금도 데스크톱부터 스마트폰까지 사실상 모든 컴퓨터가 이 구조 위에서 돌아갑니다.
주목할 점은 개방성입니다. 폰 노이만은 기술 세부 사항을 공공 영역에 공개해야 한다고 강하게 주장했고, 초안이 배포되면서 이 구조는 특허로 묶일 수 없게 되었습니다. IAS 컴퓨터 설계도도 공개되어 세계 곳곳에서 복제품이 나왔습니다.
- Los Alamos의 MANIAC, RAND의 JOHNNIAC, Illinois의 ILLIAC, Sydney의 SILLIAC, Israel의 WEIZAC 등
오픈소스 정신의 원조라고 불러도 지나치지 않을 것 같습니다. 이 밖에도 Ulam과 함께 몬테카를로 방법을 개발하면서 필요한 난수를 얻으려고 의사난수 생성을 고안했고, IAS 기상 프로젝트는 1950년 최초의 컴퓨터 일기예보를 해냈습니다. 오늘날의 수치 예보와 기후 모델링이 여기서 출발했습니다.
7. 고장 나는 부품으로 고장 나지 않는 기계 만들기
1952년 칼텍 강연 「Probabilistic Logics and the Synthesis of Reliable Organisms from Unreliable Components」에서 폰 노이만은 진공관이 자주 고장 나는 문제에 색다르게 접근했습니다.
- 더 좋은 진공관을 만드는 대신, 반드시 고장 나는 부품을 중복과 다수결로 묶어 원하는 신뢰도까지 끌어올릴 수 있는지, 그러려면 중복이 얼마나 필요한지를 계산했습니다.
- 이 발상은 복제 상태 머신(Replicated State Machine), 쿼럼(Quorum), Paxos로 이어집니다. 분산 시스템을 다루는 개발자라면 매일 그의 아이디어를 쓰고 있는 셈입니다.
8. 자기복제 오토마타: DNA보다 먼저 찾은 생명의 논리
1940년대 후반, 폰 노이만은 기계가 자신의 복제본을 만들려면 어떤 조건이 필요한지 탐구했습니다. 출발점은 이런 문제였습니다. 자기 설계도 안에 그 설계도의 설계도까지 들어가야 한다면 무한 재귀가 생긴다.
해법은 설명이 맡는 두 역할을 분리하는 것이었습니다.
- 보편 생성기가 자신을 기술한 테이프를 명령어로 읽어 기계를 만든다.
- 같은 테이프를 해석하지 않은 데이터로 복사해 새 기계에 붙인다.
하나의 설명을 실행할 때는 명령어로, 복사할 때는 데이터로 다룬다는 점에서 EDVAC의 프로그램 내장형 발상과 그대로 이어집니다.
놀라운 건 시점입니다. 이 연구는 1948~1949년에 발표되었는데, 왓슨과 크릭의 DNA 구조 발표(1953)보다 앞섭니다. 분자를 알기도 전에 생물학적 복제의 논리를 잡아낸 것입니다. 이 분리는 전사와 번역, 유전자형과 표현형으로 연결되며, 끝없이 열린 진화를 가능하게 하는 구조이기도 합니다.
증명을 위해 만든 29상태 세포 자동자는 최초의 세포 자동자였고, 이후 콘웨이의 Game of Life, 울프럼의 연구, 인공생명, 합성생물학의 밑거름이 되었습니다.
마치며: 추상화의 힘과 한계
폰 노이만의 삶은 개발자에게 익숙한 교훈을 다시 보여줍니다. 좋은 추상화는 서로 무관해 보이는 문제를 하나의 단순한 구조로 묶어 줍니다. 집합론의 타입 구분, 프로그램 내장형 구조, 자기복제 기계의 명령어/데이터 분리는 모두 같은 생각에서 나왔습니다.
하지만 모든 모델에는 가정과 범위가 있습니다. 냉전을 2인 제로섬 게임으로 단순화한 사고가 선제 핵공격 옹호로 이어졌듯, 추상화가 현실을 대신할 수는 없습니다. 말년의 폰 노이만도 이를 알았던 것 같습니다. 그는 위험한 기술을 금지하는 것으로는 진보의 위기를 풀 수 없으며, 자동으로 안전을 보장하는 해법은 없다고 봤습니다. 대신 인내, 유연성, 지성에 기반한 일상적 판단이 필요하다고 했습니다.
AI와 같은 강력한 기술을 마주한 지금, 그 말은 여전히 유효합니다.