슈퍼예측을 실전에 적용하는 법: 판단력을 훈련해 더 잘 예측하기

예측을 측정 가능한 기술로 만든 책

2011년, 미국 정보기관 산하 연구 조직인 정보고등연구계획국(IARPA)은 기이한 대회를 열었습니다. 과연 누군가가 세계의 사건들을 실제로 예측할 수 있는지 알고 싶었던 이들은, 대학 팀들을 초청해 서로 겨루게 했습니다. 각 팀은 자원자들을 모집해 수백 개의 까다로운 지정학적 질문에 숫자로 된 확률로 답하게 했습니다. 이 나라가 채무를 불이행할까? 이 두 나라가 싸울까? 이 지도자가 여섯 달 뒤에도 여전히 권력을 쥐고 있을까?

필립 테틀록과 바버라 멜러스는 그 팀들 중 하나인 굿 저지먼트 프로젝트(Good Judgment Project)를 운영했습니다. 4년에 걸쳐 수천 명의 온라인 자원자들이 약 500개의 질문에 대해 100만 건이 넘는 예측을 내놓았습니다. 그 결과는 전문가들을 무색하게 만들었습니다. 굿 저지먼트는 정확도에서 다른 대학 팀들을 35%에서 72%의 격차로 앞섰고, 그 팀의 최고 예측가들은 자원자들이 결코 보지 못한 기밀 정보에 접근할 수 있었던 정보 분석관들보다 약 30% 더 정확했습니다.

테틀록이 언론인 댄 가드너와 함께 쓴 책 『슈퍼예측: 예측의 기술과 과학(Superforecasting: The Art and Science of Prediction)』(2015)은 바로 그 사람들과, 그들을 뛰어나게 만든 것에 관한 이야기입니다. 그중 한 명인 은퇴한 컴퓨터 프로그래머 더그 로치(Doug Lorch)는 첫해에만 약 천 건의 예측을 내놓았고, 약 2,800명의 경쟁자 가운데 5위로 마쳤습니다. 그는 스파이도 퀀트도 아니었습니다. 그저 통하는 방법을 찾아낸 취미가였습니다.

대부분의 사람들은 시장이나 정치를 더 잘 예측하려고 『슈퍼예측』을 읽습니다. 이 글은 이 책을 독자에게 더 유용한 무언가로, 곧 판단력을 위한 훈련 지침서로 다룹니다. 테틀록이 분리해낸 그 기술, 즉 불확실한 미래에 관해 명료하게 생각하는 능력은, 무엇을 믿을지, 어떤 출처를 신뢰할지, 배운 것으로 무엇을 할지 결정할 때마다 여러분이 쓰는 바로 그 기술입니다.

대부분의 전문가 예측이 실패하는 이유

테틀록은 이 책을 쓸 자격을 힘겨운 길을 통해 얻었습니다. 그의 이전 저작 『전문가의 정치적 판단(Expert Political Judgment)』(2005)은 수백 명의 전문 논평가와 분석가가 약 20년에 걸쳐 수만 건의 예측을 내놓는 과정을 추적했습니다. 그 유명한 평결은 이렇습니다. 평균적인 전문가는 대략 "다트를 던지는 침팬지"만큼 정확했다는 것입니다. 더 나쁜 것은, 전문가가 유명할수록 보정(calibration)은 대체로 더 나빴다는 점인데, 자신감 넘치고 거창한 이야기는 여러분을 텔레비전에 데려다주지만 신중한 유보는 그렇지 못하기 때문입니다.

그러나 평균은 하나의 분열을 감추고 있었습니다. 이사야 벌린의 비유를 빌려, 테틀록은 예측가들을 고슴도치와 여우로 나누었습니다. 고슴도치는 큰 것 하나를 알고 모든 질문을 단 하나의 웅장한 이론에 밀어 넣습니다. 여우는 작은 것 여러 개를 알고, 거대 이론을 불신하며, 여러 출처에서 나온 증거를 엮어 붙입니다. 여우는 한결같이 더 잘 예측했습니다. 고슴도치는 더 대담한 예측을 내놓아 더 많은 주목을 받았지만, 그 하나의 큰 생각은 그들을 자신만만한 오류 속으로 계속 몰아넣었습니다.

교훈은 전문성이 쓸모없다는 것이 아닙니다. 박식한 것과 잘 보정된 것은 서로 다른 기술이라는 것입니다. 어떤 주제에 대해 많이 아는 것은 무엇이 일어날 수 있는지를 알려줍니다. 그것이 각 결과가 얼마나 일어날 법한지를 자동으로 알려주지는 않으며, 예측이 실제로 다루는 것은 바로 그 일어날 법함입니다. 그 간극이야말로 똑똑하고 잘 아는 사람들이 그토록 자주 자신만만하게 틀리는 이유이며, 이는 대니얼 카너먼이 『생각에 관한 생각』을 실전에 적용하는 법에서 평생에 걸쳐 기록한 패턴입니다.

슈퍼예측가를 진짜로 만드는 것

가장 그럴듯한 추측은 지능입니다. 슈퍼예측가들은 지능과 지식 검사에서 평균보다 높은, 대략 상위 20%의 점수를 받았지만, 이상치는 아니었습니다. 아주 똑똑한 사람 중에도 예측을 형편없이 하는 이가 많았고, 그저 명민한 정도인 사람 중에도 탁월한 이가 많았습니다. IQ는 하한선을 설정했을 뿐, 상한선을 정하지는 않았습니다.

최고를 가른 것은 테틀록이 "지속적 베타(perpetual beta)"라 부르는 마음의 습관이었습니다. 이는 결코 완성되지 않고 늘 개선되는 제품을 가리키는 소프트웨어 용어에서 빌려온 말입니다. 슈퍼예측가들은 모든 믿음을 초안으로 취급합니다. 그들은 자신이 틀렸을 수 있는 이유를 적극적으로 찾아 나서고, 증거가 조금씩 흘러들어올 때마다 작은 단계로 수정하며, 자신의 실패에 대해 정직한 사후 분석을 합니다. 테틀록은 갱신과 자기 개선에 대한 이 헌신이 지능 그 자체보다 정확도를 약 세 배 더 강력하게 예측한다는 사실을 발견했습니다.

사람들 자체는 서류상으로는 특별할 것이 없었습니다. 두각을 나타낸 예측가 중 한 명인 빌 플랙(Bill Flack)은 탐조(새 관찰)를 즐기는, 네브래스카 출신의 은퇴한 미국 농무부 직원이었습니다. 어떤 이들은 뼈아픈 실패를 겪은 뒤에 여기에 이르렀습니다. 2008년 금융 위기처럼 다가오는 무언가를 보지 못했다는 바로 그 이유로, 더 나아지고 싶어서 이 프로젝트에 합류한 사람들도 있었습니다. 이것이 캐럴 드웩이 『마인드셋』을 실전에 적용하는 법에서 묘사한 성장 마인드셋이, 훈련 가능한 단 하나의 기술을 향하고 있는 모습입니다. 이 책 전체가 안겨주는 안심되는 함의는, 슈퍼예측이 여러분에게 없으면 어쩔 수 없는 성격이 아니라, 학습된 행동이라는 것입니다.

질문을 페르미화하고 바깥에서 시작하기

크고 막연한 질문에 부딪히면, 대부분의 사람들은 직감과 헤드라인에 손을 뻗습니다. 슈퍼예측가들은 그 반대로 합니다. 그들은 질문을 각각 추론하기 더 쉬운 더 작은 하위 질문들로 쪼개는데, 테틀록은 이 기법을 "페르미화(Fermi-izing)"라 부릅니다. 이는 (시카고의 피아노 조율사 수처럼) 어려운 양을 분해하여 추정하는 것으로 유명했던 물리학자 엔리코 페르미의 이름을 딴 것입니다. 문제를 쪼개는 요점은 여러분이 실제로 아는 것과 짐작하는 것을 갈라놓는 것, 혹은 테틀록의 표현대로 "무지를 밖으로 씻어내는" 것입니다.

다음 수순은 직관에 어긋납니다. 안이 아니라 바깥에서 시작하라는 것입니다. 안쪽 관점(inside view)은 눈앞에 놓인 구체적인 이야기, 그 모든 생생한 세부입니다. 바깥쪽 관점(outside view)은 더 냉정한 질문을 던집니다. 이런 상황에서 이런 일들이 얼마나 자주 일어나는가? 그 기저율이 여러분의 닻입니다. 어떤 스타트업이 5년 뒤에도 여전히 존재할지 예측하고 싶다면, 창업자가 얼마나 감동적인 인물인지에서 시작하지 않습니다. 여러분은 일반적인 스타트업의 생존율에서 시작한 다음, 이 스타트업만의 진정으로 특별한 점에 맞춰 위로든 아래로든 조정합니다.

순서를 제대로 잡는 것이 중요합니다. 생생한 안쪽 이야기에 먼저 닻을 내리면 모든 조정이 그것에 오염됩니다. 기저율에 먼저 닻을 내리면 세부는 여러분 짐작의 전부가 되는 대신, 합리적인 출발점에 대한 보정이 됩니다. 이것은 『레인지』를 실전에 적용하는 법이 예측 불가능한 영역에서 제너럴리스트를 그토록 효과적으로 만든다고 주장하는, 깊이보다 폭을 앞세우는 바로 그 여우다운 본능입니다.

말이 아니라 확률로 생각하기

평범한 언어는 예측이 죽으러 가는 자리입니다. "경기 침체의 실질적 가능성이 있다"는 말은 하나의 주장처럼 느껴지지만, 점수를 매길 수 없으므로 결코 틀릴 수 없고, 따라서 그로부터 결코 배울 수 없습니다. 모호한 확률 표현에 대한 연구들은 그 문제를 분명하게 드러냅니다. 사람들에게 "실질적 가능성(a real possibility)"이 숫자로 무엇을 뜻하느냐고 물으면, 답은 약 20%부터 80% 이상까지 흩어집니다. 저마다 자기만의 숫자를 듣는 것입니다.

슈퍼예측가들은 그 자리에 숨기를 거부합니다. 그들은 직감을 구체적인 확률로 옮기며, 두루뭉술한 "가능성 높음" 대신 63%처럼 미세한 등급을 씁니다. 그 정밀함은 거짓 자신감이 아니라 그 반대입니다. 테틀록은 연구자들이 슈퍼예측가들의 추정치를 더 거친 숫자로 반올림하자 그들의 정확도가 떨어진다는 사실을 발견했는데, 이는 그 작은 구분들이 실제 정보를 담고 있었다는 뜻입니다. 점수를 기록하는 도구는 브라이어 점수(Brier score)로, 보정(여러분이 70%라 부른 일이 실제로 약 70%의 확률로 일어나는가?)과 해상도(50%에 숨는 대신 단호한 입장을 취하는가?)를 함께 측정합니다. 낮을수록 좋습니다.

숫자는 말이 할 수 없는 일을 합니다. 예측을 피드백으로 바꾸는 것입니다. "70%"라고 백 번 말하면, 그중 대략 70건이 일어났는지 확인할 수 있습니다. "아마도"라고 백 번 말하면, 여러분 자신에 대해 아무것도 배우지 못한 셈입니다.

베이즈주의자처럼 믿음을 갱신하기

한 번 내놓고 영원히 옹호하는 예측은 그저 하나의 의견일 뿐입니다. 이 방법의 핵심은 갱신입니다. 새로운 증거가 도착할 때, 그 증거가 실제로 알려주는 만큼에 비례하여 확률을 조정하는 것입니다. 이것은 정신적으로 베이즈주의적 추론이며, 슈퍼예측가들은 소란 없이 작은 폭으로 끊임없이 이를 행합니다.

이 규율은 양쪽으로 작동합니다. 과소반응(underreaction)은 닻에 붙들려 있거나, 이미 투자했거나, 입장을 바꾸기가 민망해서 이전 예측에 매달리는 것입니다. 과잉반응(overreaction)은 새로운 헤드라인이 뜰 때마다 새 숫자로 휘청거리며, 잡음을 신호로 취급하는 것입니다. 관건은 갱신의 크기를 증거의 무게에 맞추어 보정하는 것입니다. 사소한 뉴스는 여러분을 몇 점 슬쩍 움직이고, 진짜 놀라움은 크게 움직입니다. 슈퍼예측가들은 이 두 가지 모두에서 뚜렷하게 뛰어났고, 평균적인 예측가들보다 더 자주, 그러나 동시에 더 정밀하게 마음을 바꾸었습니다.

이것을 어렵게 만드는 것은 수학이 아니라 자아입니다. 갱신한다는 것은 지난 예측이 완벽하지 못했음을 공개적으로 인정하는 것이며, 대부분의 사람은 정확하기보다 일관되기를 택합니다. 해법은 마음을 바꾸는 것을 패배로 취급하기를 멈추는 것입니다. 애니 듀크는 『불확실성 속에서 결정하기』를 실전에 적용하는 법에서 이와 똑같은 움직임을, 여러분의 믿음을 여러분의 정체성에서 분리하는 것으로 표현합니다. 질문은 결코 "내가 옳았는가"가 아니라, "오늘 내가 아는 모든 것을 고려할 때, 지금 나는 무엇을 믿는가"입니다.

실제로 지속할 수 있는 예측 습관 만들기

위의 모든 것은 기록이 없으면 무너집니다. 무엇을, 언제, 왜 예측했는지 적어두지 않으면, 기억은 슬그머니 이야기를 다시 써서 여러분이 늘 대체로 옳았던 것으로 만들어버립니다. 『슈퍼예측』에서 얻을 수 있는 가장 실용적인 단 하나는 예측 일지이며, 테틀록의 열 가지 계명은 그 안에 들어가는 점검 목록입니다.

테틀록은 반쯤 농담인 열한 번째 계명을 덧붙입니다. 계명을 계명으로 취급하지 말라는 것입니다. 그것들은 어지러운 세상을 위한 지침이지, 법칙이 아닙니다.

바로 여기서 여러분의 읽기 도구가 예측 도구가 됩니다. 분석 글을 읽거나 브리핑을 보다가 그것이 미래에 관한 주장을 할 때, 그것을 붙잡으세요. Glasp 웹 하이라이터를 사용하면 바로 그 예측을 하이라이트하고, 출처 위에 바로 자신의 확률을 메모로 덧붙일 수 있습니다. 긴 영상 논증의 경우, YouTube 영상 요약을 활용하면 핵심 주장을 뽑아내고 타임스탬프를 달아, 각각에 대해 예측을 기록해둘 수 있습니다. 몇 달이 지나면 그 주석들은 검색 가능한 실적 기록이 되고, Glasp의 AI 채팅은 여러분이 저장한 모든 것을 가로질러 질문을 던져 여러분 자신의 추론을 되짚어보도록 도울 수 있습니다. 주장을 만날 때마다 확률을 기록하는 습관은 점수를 기록하는 일의 읽기 쪽 버전이며, 배운 것을 모으는 디지털 비망록 방식과 자연스럽게 짝을 이룹니다.

슈퍼예측의 솔직한 한계

슈퍼예측은 마법이 아니며, 테틀록은 그 경계에 대해 신중합니다. 대회의 질문들에는 명확한 판정 날짜와 확정된 답이 있었고, 대개 1~2년 안에 결판이 났습니다. 그곳이야말로 이 방법이 빛을 발하는 바로 그 영역이자, 삶의 가장 큰 질문 대부분이 살지 않는 바로 그 영역입니다. "앞으로 10년 안에 전쟁이 일어날까"라고 물으면, 점수를 매길 깔끔한 방법도, 빠른 피드백도, 연습할 방도도 없습니다.

가장 날카로운 비판은 나심 탈레브에게서 나옵니다. 그는 세계를 진정으로 재편하는 사건들이야말로, 이런 대회들이 체계적으로 배제하는 드물고 파급력 큰 "블랙 스완"이라고 주장합니다. 그가 보기에 수백 개의 평범한 질문에서 잘 보정되어 있다는 것은, 실제로 중요한 단 하나의 꼬리 사건에 대해 거의 아무것도 말해주지 않습니다. 테틀록의 합리적인 응답은, 단기 예측 실력과 장기적 겸손은 공존할 수 있다는 것입니다. 알 수 없는 질문들이 여전히 알 수 없는 채로 남는다 하더라도, 알 수 있는 질문들을 제대로 맞히는 일은 할 만한 가치가 있다는 것입니다.

더 미묘한 함정도 있습니다. 점수 매기기는 여러분을 잘 보이게 될 안전하고 단기적인 질문 쪽으로, 그리고 판단이 가장 중요한 막연하고 중대한 질문에서 멀어지는 쪽으로 끌어당길 수 있습니다. 이 방법은 특정한 종류의 질문을 위한 도구이지, 세계관이 아닙니다. 잘 쓰면 사고를 날카롭게 벼려줍니다. 잘못 쓰면 중요하지 않은 것들에 대해 정밀한 척 느끼게 하는 방편이 됩니다.

자주 묻는 질문

슈퍼예측은 타고나는 것인가요, 배울 수 있는 것인가요?

배울 수 있습니다. 그것이 이 책의 핵심 발견입니다. 슈퍼예측가들은 지능에서 평균보다 높은 점수를 받았지만 천재는 아니었고, 실력의 가장 강력한 예측 변수는 IQ가 아니라 "지속적 베타", 곧 자신의 믿음을 끊임없이 갱신하고 개선하는 습관이었습니다. 테틀록은 그것이 지능보다 정확도를 약 세 배 더 잘 예측한다는 사실을 발견했습니다. 대회의 훈련 실험에서는, 기저율 같은 기법에 대한 짧은 튜토리얼조차 평범한 예측가들을 측정 가능한 정도로 향상시켰습니다.

슈퍼예측은 『불확실성 속에서 결정하기』와 어떻게 다른가요?

둘은 상호 보완적입니다. 애니 듀크의 『불확실성 속에서 결정하기』는 불확실성 속에서의 결정의 질과, 좋은 결정을 운 좋은 결과에서 분리하는 데 초점을 맞춥니다. 테틀록의 『슈퍼예측』은 예측 그 자체에 초점을 맞춥니다. 미래의 사건에 정확한 확률을 어떻게 부여하고, 자신이 잘 보정되어 있었는지를 어떻게 측정할 것인가 하는 문제입니다. 하나는 잘 결정하는 것에 관한 것이고, 다른 하나는 명료하게 보는 것에 관한 것입니다. 함께 읽으면 불확실성 속 추론의 두 절반을 모두 아우릅니다.

브라이어 점수란 쉽게 말해 무엇인가요?

확률적 예측에 점수를 매기는 방법으로, 낮을수록 좋고 0이 완벽합니다. 이는 두 가지를 동시에 보상합니다. 보정(여러분이 70%라 부른 일은 약 70%의 확률로 일어나야 합니다)과 해상도(늘 50% 근처에서 얼버무리는 대신 단호한 입장을 취하는 것)입니다. 이를 계산하려면 예측과 결과에 대한 이어지는 기록이 필요하며, 바로 그 때문에 예측 일지를 쓰는 것이 이 습관 전체의 토대가 됩니다.

더 나은 예측가가 되려면 수학이 필요한가요?

고급 수학은 필요하지 않습니다. 핵심 동작은 습관입니다. 질문을 부분으로 쪼개고, 기저율에서 시작하고, 자신의 견해를 구체적인 숫자로 표현하고, 증거가 도착할 때마다 작은 단계로 갱신하는 것입니다. 베이즈주의적 갱신은 방정식이기 이전에 하나의 사고방식입니다. 진짜 병목은 계산이 아니라, 자신의 예측을 적어두고, 정직하게 확인하고, 마음을 바꾸려는 의지입니다.

오늘 당장 연습을 시작하려면 어떻게 하나요?

명확한 답과 가까운 마감이 있는 질문 몇 개를, 여러분의 일이나 읽기, 혹은 뉴스에서 골라보세요. 각각에 대해 구체적인 확률과 그 추론을 담은 한 문장을 적으세요. 각 질문이 결판나면, 비교하고 짧은 사후 분석을 하세요. 읽으면서 예측을 하이라이트하고 여백에 확률을 덧붙이는 것은, 여러분의 평범한 읽기를 꾸준히 흘러나오는 연습 문제로 바꿔줍니다.

맺음말

『슈퍼예측』의 조용한 급진성은 그 낙관에 있습니다. 수십 년 동안 테틀록의 연구에서 얻어낸 결론은 냉소적이었습니다. 전문가는 예측할 수 없으니 애쓸 필요가 있느냐는 것이었습니다. 대회는 그것을 뒤집었습니다. 하나의 방법과 점수를 기록하는 규율로 무장한 평범한 사람들의 집단이, 기밀 파일을 가진 전문가들보다 미래를 더 명료하게 보는 법을 배웠습니다. 그 방법은 가르칠 수 있으며, 대부분은 신중한 독자라면 누구나 쌓을 수 있는 습관으로 귀결됩니다.

작게 시작하세요. 질문을 쪼개고, 이런 일들이 보통 얼마나 자주 일어나는지에 닻을 내리고, 자신의 믿음에 진짜 숫자를 붙이고, 세상이 되받아 말할 때 자아 없이 그것을 갱신하세요. 그런 다음, 무엇보다 중요하게, 그것을 적어두세요. Glasp 웹 하이라이터를 사용해 읽으면서 만나는 주장을 붙잡고 각각에 자신의 확률을 태그하세요. YouTube 영상 요약에 기대어 여러분이 보는 논증에 대해 예측을 기록하세요. 그리고 Glasp의 커뮤니티 피드가 다른 신중한 독자들이 똑같은 불확실성을 어떻게 헤쳐 나가며 추론하는지 보여주게 하세요. 잘 예측하는 것은 하나의 기술입니다. 가질 만한 가치가 있는 모든 기술이 그렇듯, 그것은 의도적인 연습과 정직한 피드백, 그리고 실제로 배울 수 있는 기록에서 자라납니다. 이 모든 것을 하나로 붙들어주는 노트 필기 시스템에 대해서는 똑똑하게 노트하는 법을 참고하세요.