슈퍼예측가란 무엇인가?
슈퍼예측가(superforecaster)란 점수가 매겨진 수많은 질문에 걸쳐, 같은 질문을 예측한 거의 모든 사람보다 꾸준히 더 정확한 확률 예측을 내놓는다는 것이 입증된 사람을 말합니다. 이 용어는 미국 정부가 주최한 예측 대회에 참가한 연구팀 가운데 하나인 필립 테틀록의 Good Judgment Project에서 나왔습니다. 이 프로젝트는 해마다 예측가 상위 2%에게 이 칭호를 주었습니다.
슈퍼예측(superforecasting)은 그들이 공유한 방법입니다. 질문을 여러 부분으로 쪼개고, 기저율에서 출발하고, 자신의 믿음에 정밀한 숫자를 붙이고, 그 숫자를 작은 폭으로 갱신하는 것입니다. 테틀록과 언론인 댄 가드너는 《슈퍼 예측, 그들은 어떻게 미래를 보았는가》(원제 Superforecasting: The Art and Science of Prediction, 2015)에서 이 방법을 정리했으며, 그 대부분은 배워서 익힐 수 있습니다.
대회 자체가 별난 발상이었습니다. 2011년, 미국 정보기관 산하의 연구 조직인 정보고등연구계획국(IARPA)은 과연 누군가가 세계의 사건을 잘 예측할 수 있는지 알아보기로 하고, 대학 연구팀들을 초청해 서로 겨루게 했습니다. 각 팀은 자원자를 모집해 까다로운 지정학적 질문에 숫자로 된 확률로 답하게 했습니다. 이 나라가 채무를 불이행할까? 이 두 나라가 충돌할까? 이 지도자가 여섯 달 뒤에도 여전히 권력을 쥐고 있을까?
테틀록과 바버라 멜러스는 Good Judgment 팀을 이끌었습니다. 4년에 걸쳐 수천 명의 온라인 자원자가 약 500개의 질문에 대해 100만 건이 넘는 예측을 내놓았고, 그 결과는 전문가들을 무색하게 만들었습니다. Good Judgment는 첫해에 대회의 공식 대조군보다 60%, 둘째 해에는 78% 더 뛰어난 성적을 냈습니다. 미시간대학교와 MIT를 비롯한 경쟁 대학 팀들도 30%에서 70% 차이로 앞질렀습니다. 심지어 기밀 자료를 볼 수 있는 분석관들이 참여하는 정보기관 자체의 내부 예측 시장까지 이겼습니다. 2013년과 2014년의 139개 질문에서 Good Judgment의 가장 뛰어난 기법들은 34.7% 더 정확했습니다.
프로젝트는 해마다 선발된 슈퍼예측가들끼리 팀을 이루게 하고 계속 점수를 매겼습니다. 그들의 성적이 운이었다면 평균 쪽으로 되돌아갔어야 합니다. 대부분은 그러지 않았습니다. 약 70%가 이듬해에도 그 지위를 지켰고, 전체 예측가를 놓고 보면 한 해의 정확도와 이듬해 정확도 사이의 상관계수는 약 0.65였습니다.
초기 슈퍼예측가 가운데 한 명인 은퇴한 컴퓨터 프로그래머 더그 로치(Doug Lorch)는 첫해에 약 1,000건의 예측을 내놓아 약 2,800명의 참가자 가운데 5위를 차지했고, 브라이어 점수(Brier score)는 0.22였습니다(낮을수록 좋으며, 브라이어 점수는 아래에서 자세히 다룹니다). 이듬해 슈퍼예측가 팀에 들어간 그는 0.14를 기록해 프로젝트 전체에서 가장 좋은 점수를 냈습니다. 그는 스파이도 퀀트도 아니었습니다. 그저 통하는 방법을 찾아낸 아마추어였습니다.
이 이름은 대회보다 오래 살아남았습니다. 프로젝트에서 분사한 상업 회사인 Good Judgment Inc.는 지금도 소속 전문 예측가들을 이 이름으로 부르며(표기는 Superforecaster®), AI 연구자들은 이제 슈퍼예측가를 예측 모델의 성적을 매기는 인간 기준으로 삼고 있습니다.
대부분의 사람들은 시장이나 정치를 더 잘 예측하려고 이 책을 읽습니다. 이 글은 이 책을 판단력을 기르는 훈련 지침서로 다룹니다. 불확실한 미래에 관해 명료하게 생각하는 능력은, 무엇을 믿을지, 어떤 출처를 신뢰할지, 배운 것으로 무엇을 할지 정할 때마다 여러분이 쓰는 바로 그 기술이기 때문입니다.
대부분의 전문가 예측이 실패하는 이유
테틀록은 이 책을 쓸 자격을 어렵게 얻었습니다. 그의 이전 저작 《전문가의 정치적 판단》(Expert Political Judgment, 2005)은 전문 논평가와 분석가 284명이 약 20년에 걸쳐 내놓은 2만 8,000건가량의 예측을 추적했습니다. 그 유명한 결론은 이렇습니다. 평균적인 전문가는 대략 "다트를 던지는 침팬지"만큼 정확했다는 것입니다. 더 나쁜 점은 유명한 전문가일수록 대체로 덜 정확했다는 것입니다. 자신감 넘치고 거창한 이야기는 텔레비전 출연으로 이어지지만, 신중하게 단서를 다는 태도는 그렇지 않기 때문입니다.
그러나 평균 뒤에는 뚜렷한 차이가 숨어 있었습니다. 이사야 벌린의 비유를 빌려, 테틀록은 예측가들을 고슴도치와 여우로 나누었습니다. 고슴도치는 큰 것 하나를 알고 모든 질문을 단 하나의 웅장한 이론에 밀어 넣습니다. 여우는 작은 것 여러 개를 알고, 거대 이론을 불신하며, 여러 출처에서 나온 증거를 엮어 붙입니다. 여우는 한결같이 더 잘 예측했습니다. 고슴도치는 더 대담한 예측을 내놓아 더 많은 주목을 받았지만, 그 하나의 큰 생각 때문에 자신만만한 오류를 거듭 저질렀습니다.
교훈은 전문성이 쓸모없다는 것이 아닙니다. 박식한 것과 잘 보정된(well-calibrated) 것은 서로 다른 기술이라는 것입니다. 어떤 주제에 대해 많이 아는 것은 무엇이 일어날 수 있는지를 알려줍니다. 하지만 각 결과가 얼마나 일어날 법한지까지 저절로 알려주지는 않으며, 예측이 다루는 것은 바로 그 가능성의 크기입니다. 그 간극이야말로 똑똑하고 잘 아는 사람들이 그토록 자주 자신만만하게 틀리는 이유이며, 대니얼 카너먼이 평생에 걸쳐 기록한 패턴이기도 합니다(《생각에 관한 생각》 활용법 참고).
슈퍼예측가를 만드는 진짜 요인
가장 먼저 떠오르는 답은 지능입니다. 슈퍼예측가들은 지능과 지식 검사에서 평균보다 높은, 대략 상위 20%의 점수를 받았지만, 이상치는 아니었습니다. 아주 똑똑한 사람 중에도 예측을 형편없이 하는 이가 많았고, 그저 명민한 정도인 사람 중에도 탁월한 이가 많았습니다. IQ는 하한선을 설정했을 뿐, 상한선을 정하지는 않았습니다.
최고를 가른 것은 테틀록이 "지속적 베타(perpetual beta)"라 부르는 마음의 습관이었습니다. 이는 결코 완성되지 않고 늘 개선되는 제품을 가리키는 소프트웨어 용어에서 빌려온 말입니다. 슈퍼예측가들은 모든 믿음을 초안으로 취급합니다. 그들은 자신이 틀렸을 수 있는 이유를 적극적으로 찾아 나서고, 증거가 조금씩 흘러들어올 때마다 작은 단계로 수정하며, 자신의 실패에 대해 정직한 사후 분석을 합니다. 테틀록은 믿음을 갱신하고 스스로를 개선하려는 이 헌신이 슈퍼예측가 반열에 오를지를 가장 강력하게 예측하는 변수이며, 그 힘은 바로 뒤를 잇는 변수인 지능보다 약 세 배 강하다고 씁니다. 애덤 그랜트는 바로 이 습관을 중심에 두고 《싱크 어게인》이라는 책 한 권을 썼습니다.
사람들 자체는 서류상으로는 특별할 것이 없었습니다. 두각을 나타낸 예측가 중 한 명인 빌 플랙(Bill Flack)은 네브래스카주 커니에 사는 전직 미국 농무부 직원으로, 열성적인 탐조인이었습니다. 역시 슈퍼예측가가 된 경제학자 메리 심프슨(Mary Simpson)은 자신이 "2007-2008년 금융 위기를 완전히 놓쳤다"고 말한 적이 있으며, "특정 분야에서는 누군가가 예측을 해낼 수 있다는 데 매우 회의적인" 상태로 대회에 참가했습니다. 한때 크게 놓쳤던 일을 잘하게 되는 것, 그것이 바로 캐럴 드웩의 성장 마인드셋을 훈련할 수 있는 한 가지 기술에 적용한 모습입니다.
이 가운데 상당 부분은 가르칠 수 있고, 그것도 빠르게 가르칠 수 있습니다. 한 무작위 실험에서는 기저율, 보정, 흔한 편향에 관한 약 1시간의 훈련만으로 예측가들의 정확도가 6%에서 11% 높아졌고, 훈련받은 예측가들은 대회 4년 동안 해마다 훈련받지 않은 대조군을 앞섰습니다. 팀도 도움이 되었습니다. 팀은 평균적으로 개인보다 23% 더 정확했고, 슈퍼예측가로 구성된 팀은 예측 시장을 15%에서 30% 앞질렀습니다. 이 책 전체가 전하는 든든한 메시지는, 슈퍼예측이 타고나지 않으면 어쩔 수 없는 성격이 아니라 배워서 익히는 행동이라는 것입니다.
질문을 페르미화하고 바깥에서 시작하기
크고 막연한 질문에 부딪히면, 대부분의 사람들은 직감과 헤드라인에 기댑니다. 슈퍼예측가들은 그 반대로 합니다. 그들은 질문을 하나하나 추론하기 쉬운 더 작은 하위 질문들로 쪼개는데, 테틀록은 이 기법을 "페르미화(Fermi-izing)"라 부릅니다. 이는 (시카고의 피아노 조율사 수처럼) 어려운 양을 분해하여 추정하는 것으로 유명했던 물리학자 엔리코 페르미의 이름을 딴 것입니다. 문제를 쪼개는 목적은 여러분이 아는 것과 짐작하는 것을 갈라놓는 것, 혹은 테틀록의 표현대로 "무지를 밖으로 끌어내 드러내는" 것입니다.
다음 수순은 직관에 어긋납니다. 안이 아니라 바깥에서 시작하라는 것입니다. 안쪽 관점(inside view)은 눈앞에 놓인 구체적인 이야기, 그 모든 생생한 세부입니다. 바깥쪽 관점(outside view)은 더 냉정한 질문을 던집니다. 이런 상황에서 이런 일들이 얼마나 자주 일어나는가? 그 기저율이 여러분의 닻입니다. 어떤 스타트업이 5년 뒤에도 여전히 존재할지 예측하고 싶다면, 창업자가 얼마나 감동적인 인물인지에서 시작하지 않습니다. 일반적인 스타트업의 생존율에서 시작한 다음, 이 스타트업만의 진정으로 특별한 점에 맞춰 위로든 아래로든 조정합니다.
대회 자체의 데이터도 같은 방향을 가리킵니다. 마지막 해에는 훈련받은 예측가들이 예측의 근거로 쓴 설명이 열 가지 원칙 가운데 어느 것에 기댔는지 표시할 수 있었는데, 더 높은 정확도와 유의하게 연결된 원칙은 단 하나였습니다. 바깥쪽 관점의 다른 이름인 비교 집단(comparison classes)입니다.
순서를 제대로 잡는 것이 중요합니다. 생생한 안쪽 이야기에 먼저 닻을 내리면 모든 조정이 그것에 오염됩니다. 기저율에 먼저 닻을 내리면 세부는 짐작의 전부가 되는 대신, 합리적인 출발점을 다듬는 수정이 됩니다. 이것은 《Range》 적용법이 예측 불가능한 영역에서 제너럴리스트를 그토록 효과적으로 만든다고 주장하는, 깊이보다 폭을 앞세우는 바로 그 여우다운 본능입니다.
말이 아니라 확률로 생각하기
일상 언어는 예측의 무덤입니다. 1951년 3월, 미국의 국가정보판단서(National Intelligence Estimate)는 소련 진영의 유고슬라비아 공격을 "심각한 가능성으로 간주해야 한다"고 결론지었습니다. 이 판단서 작성에 참여한 CIA 분석관 셔먼 켄트가 국가정보판단위원회(Board of National Estimates)의 동료들에게 어느 정도의 확률을 염두에 두었느냐고 묻자, 그들의 답은 20%부터 80%까지 흩어져 있었습니다. 켄트 자신이 생각한 확률은 약 65%였습니다. 모두가 그 문장에는 동의했지만, 그것이 무엇을 뜻하는지에 동의한 사람은 거의 없었던 셈입니다. 이런 예측은 점수를 매길 수 없으므로 결코 틀릴 수 없고, 따라서 그로부터 결코 배울 수 없습니다.
슈퍼예측가들은 그 자리에 숨기를 거부합니다. 그들은 직감을 구체적인 확률로 옮기며, 두루뭉술한 "가능성 높음" 대신 63%처럼 미세한 등급을 씁니다. 그 정밀함은 거짓 자신감이 아니라 그 반대입니다. 바버라 멜러스와 동료들이 슈퍼예측가들의 추정치를 0.1 단위로 반올림하자 정확도가 떨어졌는데, 이는 그 작은 구분들이 실제 정보를 담고 있었다는 뜻입니다. 점수를 기록하는 도구는 브라이어 점수(Brier score)로, 보정(70%라고 예측한 일이 실제로 약 70%의 빈도로 일어나는가?)과 해상도(50%에 숨는 대신 단호한 입장을 취하는가?)를 함께 측정합니다. 낮을수록 좋습니다.
| 예측 방식 | 어떻게 들리는가 | 그로부터 배울 수 있는가? |
|---|---|---|
| 모호한 말 | "아마도", "심각한 가능성", "가능성 낮음" | 아니요, 점수를 매길 수 없습니다 |
| 반올림한 숫자 | "약 70%" | 조금은 배울 수 있지만 거칩니다 |
| 세밀한 확률 | "63%, 그리고 그 이유는 이렇습니다" | 예, 시간이 지날수록 보정이 나아집니다 |
숫자는 말이 할 수 없는 일을 합니다. 예측을 피드백으로 바꾸는 것입니다. "70%"라고 백 번 말하면, 그중 대략 70건이 일어났는지 확인할 수 있습니다. "아마도"라고 백 번 말하면, 여러분 자신에 대해 아무것도 배우지 못한 셈입니다. 숫자는 테틀록이 "'아마도'의 잘못된 쪽 오류(wrong-side-of-maybe fallacy)"라고 부르는 함정도 막아줍니다. 나머지 30%가 현실이 되었다는 이유로 70% 예측을 실패로 판정하는 오류입니다. 한 번 빗나간 예측은 거의 아무것도 알려주지 않습니다. 백 번의 예측은 많은 것을 알려줍니다.
베이즈주의자처럼 믿음을 갱신하기
한 번 내놓고 영원히 옹호하는 예측은 그저 하나의 의견일 뿐입니다. 이 방법의 핵심은 갱신입니다. 새로운 증거가 도착할 때, 그 증거가 알려주는 만큼에 비례하여 확률을 조정하는 것입니다. 이것은 본질적으로 베이즈주의적 추론이며, 슈퍼예측가들은 소란 없이 작은 폭으로 끊임없이 이를 행합니다.
이 규율에는 양면이 있습니다. 과소반응(underreaction)은 닻에 붙들려 있거나, 그 예측에 애착이 있거나, 입장을 바꾸기가 민망해서 이전 예측에 매달리는 것입니다. 과잉반응(overreaction)은 새로운 헤드라인이 뜰 때마다 새 숫자로 휘청거리며, 잡음을 신호로 취급하는 것입니다. 관건은 갱신의 크기를 증거의 무게에 맞추어 보정하는 것입니다. 사소한 뉴스라면 몇 포인트만 살짝 움직이고, 진짜 놀라운 소식이라면 크게 움직이는 식입니다. 슈퍼예측가들은 이 두 가지 모두에서 뚜렷하게 뛰어났고, 평균적인 예측가들보다 더 자주, 그러나 동시에 더 정밀하게 마음을 바꾸었습니다.
이것을 어렵게 만드는 것은 수학이 아니라 자아입니다. 갱신한다는 것은 지난 예측이 완벽하지 못했음을 공개적으로 인정하는 것이며, 대부분의 사람은 정확하기보다 일관되기를 택합니다. 해법은 마음을 바꾸는 것을 패배로 취급하기를 멈추는 것입니다. 애니 듀크는 《결정, 흔들리지 않고 마음먹은 대로》(원제 Thinking in Bets)에서 이와 똑같은 움직임을, 믿음을 자기 정체성과 분리하는 일로 표현합니다. 질문은 결코 "내가 옳았는가"가 아니라, "오늘 내가 아는 모든 것을 고려할 때, 지금 나는 무엇을 믿는가"입니다.
실제로 지속할 수 있는 예측 습관 만들기
위의 모든 것은 기록이 없으면 무너집니다. 무엇을, 언제, 왜 예측했는지 적어두지 않으면, 기억은 슬그머니 이야기를 다시 써서 여러분이 늘 대체로 옳았던 것으로 만들어버립니다. 《슈퍼 예측》에서 얻을 수 있는 가장 실용적인 것을 하나만 꼽으라면 예측 일지이며, 테틀록의 열 가지 계명은 그 안에 들어가는 점검 목록입니다.
| 계명 | 실전에서의 의미 |
|---|---|
| 우선순위 분류 | 노력이 실제로 보상받는 질문에 힘을 쏟고, 사소하거나 가망 없는 질문은 피하세요 |
| 문제를 분해하기 | 페르미화: 큰 질문을 답할 수 있는 조각들로 쪼개세요 |
| 바깥쪽과 안쪽 관점의 균형 | 기저율에서 시작한 다음, 구체적인 사정에 맞게 조정하세요 |
| 믿음을 갱신하기 | 증거의 무게를 반영해 작은 단계로 수정하세요 |
| 충돌하는 인과적 힘을 찾기 | 서로 경쟁하는 설명들을 동시에 마음에 담아두세요 |
| 알맞은 정도의 의심을 사용하기 | 직감을 정밀한 확률로 옮기세요 |
| 신중함과 단호함의 균형 | 확신으로 서두르지도, "글쎄"에 숨지도 마세요 |
| 실패와 성공 모두에서 배우기 | 둘 다에 대해 회피 없는 사후 분석을 하세요 |
| 팀 안에서 관점 전환을 숙달하기 | 생산적으로 의견을 달리하고, 정밀한 질문을 하세요 |
| 피드백과 함께 의도적으로 연습하기 | 예측을 훈련 가능한 기예로 대하세요 |
테틀록은 반쯤 농담인 열한 번째 계명을 덧붙입니다. 계명을 계명으로 취급하지 말라는 것입니다. 그것들은 어지러운 세상을 위한 지침이지, 법칙이 아닙니다.
바로 여기서 여러분의 읽기 도구가 예측 도구가 됩니다. 분석 글을 읽거나 브리핑을 보다가 미래에 관한 주장이 나오면 놓치지 말고 붙잡아 두세요. Glasp 웹 하이라이터를 사용하면 바로 그 예측을 하이라이트하고, 출처 위에서 그대로 자신의 확률을 메모로 덧붙일 수 있습니다. 긴 영상 논증의 경우, YouTube 영상 요약을 활용하면 핵심 주장을 뽑아내고 타임스탬프를 달아, 각각에 대해 예측을 기록해둘 수 있습니다.
《슈퍼 예측》 자체를 Kindle로 읽고 있다면, Kindle 하이라이트를 가져와 표시해 둔 계명들이 여러분이 내놓는 예측 바로 옆에 놓이게 하세요. 몇 달이 지나면 그 주석들은 검색 가능한 실적 기록이 되고, 자신의 추론을 되짚어볼 때 Glasp의 AI 채팅으로 저장해 둔 모든 내용을 대상으로 질문할 수 있습니다. 이것은 말하자면 읽기에서 점수를 기록하는 방법이며, 배운 것을 모으는 디지털 커먼플레이스 북 방식과도 자연스럽게 짝을 이룹니다.
슈퍼예측가가 되는 법
이 칭호를 건네주는 시험도 강좌도 없습니다. 최초의 슈퍼예측가들이 그랬듯, 같은 질문을 예측하는 거의 모든 사람을 이기는 채점된 예측 기록을 오랫동안 쌓아야 얻을 수 있습니다. 운 좋게 맞힌 몇 번은 아무것도 증명하지 못합니다. 채점된 예측이 수백 건 쌓이면 그제야 무언가가 증명되기 시작합니다.
가장 중요한 습관은 다음 세 가지입니다.
- 점수가 매겨지는 곳에서 예측하세요. Good Judgment Open은 Good Judgment Inc.가 운영하는 공개 예측 사이트로 누구나 참여할 수 있고, Metaculus는 무료로 가입할 수 있으며 Metaculus Cup 같은 시즌제 토너먼트를 엽니다. 두 곳 모두 여러분의 예측을 현실과 비교하고, 같은 질문에 답한 다른 모든 사람과도 비교해 점수를 매깁니다.
- 많은 질문에 답하고, 예측을 계속 갱신하세요. 정확도를 따지려면 표본이 필요합니다. 슈퍼예측가들은 한 시즌 전체의 기록을 근거로 선발되었고, 한 번 예측하고 손을 떼는 대신 뉴스가 들어올 때마다 예측을 수정했습니다.
- 추론을 글로 남기세요. Good Judgment에 따르면, 이 회사는 해마다 가을 Good Judgment Open에서 전문 슈퍼예측가(Superforecaster) 후보를 모집하며, 지원자에게 그곳에서 최소 100개의 질문을 예측하도록 요구합니다. 가장 중점적으로 보는 것은 평균 정확도이지만, 작성한 코멘트의 질과 동료와 협력하는 태도도 봅니다. 선발된 사람에게는 시범 업무가 주어질 수 있고, 채용된 사람은 3개월의 수습 기간을 거쳐야 합니다. Metaculus는 실적과 함께 "자신의 근거를 명확하게 설명해 온 이력"을 보고 프로 예측가(Pro Forecasters)를 선발합니다.
| 연습할 곳 | 얻을 수 있는 것 | 칭호로 가는 길 |
|---|---|---|
| Good Judgment Open | 세계정세에 관한 채점형 질문, 리더보드 | 꾸준히 최상위권에 드는 사람은 Good Judgment가 매년 진행하는 전문 슈퍼예측가 선발 대상이 됩니다 |
| Metaculus | 질문, 토너먼트, 커뮤니티 예측, 점수 | 실적과 명확하게 설명한 근거를 기준으로 프로 예측가가 선발됩니다 |
| 개인 예측 일지 | 자신의 일과 읽기에서 나온 질문 | 없습니다. 하지만 보정은 여기서 시작됩니다 |
플랫폼이 있다고 해서 일지를 건너뛰지는 마세요. 플랫폼의 질문은 다른 누군가가 쓴 것입니다. 판단력을 가장 날카롭게 벼려주는 예측은 여러분이 직접 고른 질문에 관한 것입니다. 프로젝트가 제때 출시될지, 어떤 출처의 예측이 들어맞을지, 방금 읽은 글 속의 추세가 이어질지 같은 것들입니다.
슈퍼예측가 대 AI: 2026년의 현주소
몇 달 안에 결과가 나오는 명확한 질문에서는 최고의 AI 예측 시스템이 슈퍼예측가를 따라잡았고, 데이터 시계열에서 생성된 질문에서는 아마 앞서 나갔을 것입니다. 판단력이 필요한 일회성 질문에서는 어느 쪽이 통계적으로 뚜렷하게 앞선다는 것을 아직 누구도 보여주지 못했습니다. 주요 벤치마크를 만든 팀과, 전문 슈퍼예측가 패널을 운영하는 Good Judgment Inc.는 같은 결과를 매우 다르게 읽습니다.
Forecasting Research Institute(FRI)가 만든 ForecastBench는 두 종류의 질문으로 AI 시스템과 슈퍼예측가를 비교해 점수를 매깁니다. 경제 지표 같은 데이터 시계열에서 생성한 데이터셋 질문(dataset questions)과, 예측 플랫폼에서 가져온 시장 질문(market questions)입니다. 2026년 1월에도 슈퍼예측가들은 여전히 1위였고, 최고의 모델을 브라이어 점수로 0.017 앞섰습니다. FRI는 이 격차가 모델 발전으로 치면 약 1년에 해당한다고 추정했고, 2026년 11월에 동등한 수준에 이를 것으로 내다봤습니다.
그 시점은 예상보다 빨리 찾아왔습니다. 2026년 7월 16일, FRI는 Cassi AI의 시스템을 선두로 xAI와 Google DeepMind의 참가 시스템까지 포함한 여러 시스템이 자체 토너먼트 리더보드에서 슈퍼예측가와 통계적으로 구별되지 않는다고 발표했습니다. FRI에 따르면 Cassi의 시스템은 시장 질문에서 슈퍼예측가 중앙값보다 높은 순위에 오른 최초의 시스템이기도 했습니다. AI는 이미 5월에 데이터셋 질문에서 슈퍼예측가와 대등해졌고, 7월에는 FRI가 이 영역에서 많은 시스템이 슈퍼예측가를 능가할 가능성이 높다고 밝혔습니다. FRI는 단서도 솔직하게 달았습니다. 슈퍼예측가의 예측을 마지막으로 수집한 것이 2024년이어서 이 비교는 공통 질문이 하나도 없는 질문 세트들 사이의 통계적 조정에 기대고 있으며, 신뢰구간이 크게 겹치기 때문에 이 결과는 "능가했다기보다는 슈퍼예측가와 대등하다는 쪽에 더 부합한다"는 것입니다.
Good Judgment는 8일 뒤 "Not So Fast(아직 이르다)"라는 제목의 글로 반박하며 세 가지 이의를 제기했습니다.
- 인간 쪽 기준선이 낡았습니다. Good Judgment는 이 기준선을 "대부분 혼자 작업하며 예측을 거의 갱신하지 않은 개별 슈퍼예측가들을 2024년 7월 시점에 고정해 둔 스냅숏"이라고 불렀습니다. Good Judgment Project 자체의 실험에서 이미 팀이 개인을 이긴다는 사실이 드러났는데도 말입니다.
- 일부 시장 질문은 겉모습만 바꾼 데이터 질문입니다. 2026년 7월이 관측 사상 가장 더운 7월이 될지 같은 질문은, Good Judgment의 표현을 빌리면 "시장 질문의 옷을 입은 데이터셋 질문"이며, 기후 기록만으로 답을 판정할 수 있습니다.
- 모델이 시장을 베끼고 있을 수 있습니다. FRI는 앞서 한 모델의 예측이 그 모델에 제시된 시장 가격과 0.994의 상관관계를 보인다는 사실을 발견한 바 있습니다. 그렇다면 AI의 정확도 가운데 얼마만큼이 실은 시장의 정확도인가 하는 의문이 생깁니다.
또 하나의 주요 비교인 FutureEval은 Metaculus가 운영하며, 자체 봇 토너먼트의 상위 10개 봇과 소속 프로 예측가 10명을 같은 질문으로 맞붙입니다. 2026년 봄 라운드에서는 99개 질문에 걸쳐 프로 예측가들이 질문당 1.25점의 맞대결 점수(head-to-head points) 차로 이겼는데, Metaculus는 이 차이가 통계적으로 유의하지 않다고 밝혔습니다. 2025년 1분기와 2분기에는 그 격차가 각각 17.7점과 20.0점이었습니다. 참가자 전원의 개인 순위를 매기면 상위 10자리 가운데 9자리는 여전히 인간이 차지했습니다. 그리고 2026년 여름 Metaculus Cup이 열렸습니다. 이 대회에서 봇은 인간 참가자와 같은 질문을 예측하지만 상금은 받을 수 없습니다. 두 봇, 곧 Laertes 그리고 Mantic의 시스템이 종합 1위와 2위를 차지해 모든 인간 참가자를 앞섰습니다.
| 벤치마크 | 비교 대상 | 최신 결과 |
|---|---|---|
| ForecastBench (FRI) | AI 시스템 대 2024년 슈퍼예측가 기준선 | 2026년 7월: 여러 시스템이 슈퍼예측가와 통계적으로 구별되지 않았고, Cassi의 시스템은 시장 질문에서 슈퍼예측가보다 높은 순위에 올랐습니다 |
| Metaculus FutureEval | 상위 10개 봇 팀 대 프로 예측가 10명 | 2026년 봄: 프로 예측가가 질문당 1.25점 앞섰지만 통계적으로 유의하지 않았습니다 |
| Metaculus Cup | 인간 참가자와 같은 질문을 예측하는 봇 | 2026년 여름: 봇이 종합 1위와 2위를 차지했습니다 |
독자에게 주는 시사점은 두 가지입니다. 첫째, 이 책이 그리는 사람들은 AI 예측을 재는 기준이 되었고, 최고의 모델들은 2026년에야 그 기준에 도달했습니다. 둘째, AI의 예측은 저울질해야 할 또 하나의 출처입니다. 슈퍼예측가가 논평가를 대하듯 AI의 예측을 대하세요. 기저율을 묻고, 그저 시장을 따라 말하고 있는 것은 아닌지 확인하고, 나중에 채점할 수 있도록 그 주장을 적어 두세요.
슈퍼예측의 한계를 솔직하게 짚어 보기
슈퍼예측은 마법이 아니며, 테틀록은 그 경계에 대해 신중합니다. 대회의 질문들에는 명확한 판정 날짜와 확정된 답이 있었고, 대부분은 1개월에서 1년 앞을 내다보는 질문이었습니다. 그곳이야말로 이 방법이 빛을 발하는 바로 그 영역이자, 삶의 가장 큰 질문 대부분은 들어 있지 않은 바로 그 영역입니다. "앞으로 10년 안에 전쟁이 일어날까"라고 물으면, 점수를 매길 깔끔한 방법도, 빠른 피드백도, 연습할 방도도 없습니다.
가장 날카로운 비판은 나심 탈레브에게서 나옵니다. 그는 세계를 진정으로 재편하는 사건들이야말로, 이런 대회들이 체계적으로 배제하는 드물고 파급력 큰 "블랙 스완"이라고 주장합니다. 그가 보기에 수백 개의 평범한 질문에서 잘 보정되어 있다는 것은, 중요한 단 하나의 꼬리 사건에 대해 거의 아무것도 말해주지 않습니다. 테틀록의 합리적인 응답은, 단기 예측 실력과 장기적 겸손은 공존할 수 있다는 것입니다. 알 수 없는 질문들이 여전히 알 수 없는 채로 남는다 하더라도, 알 수 있는 질문들을 제대로 맞히는 일은 할 만한 가치가 있다는 것입니다.
결과가 판정되는 질문에서조차 이 방법의 발밑이 흔들릴 수 있습니다. 2022년에 열린 FRI의 실존적 위험 설득 토너먼트(Existential Risk Persuasion Tournament)에서 슈퍼예측가들은 2025년까지 AI 시스템이 국제수학올림피아드에서 금메달 수준에 도달할 확률을 겨우 2.3%로 보았습니다. 그 일은 2025년 7월에 일어났습니다. 질문의 결과가 이미 판정된 네 가지 AI 벤치마크 전체에서, 슈퍼예측가들이 실제 결과에 부여한 확률은 평균 9.7%였고, 해당 분야 전문가들은 24.6%였습니다. 기저율은 과거에서 나오며, 그 기저율을 만들어내는 과정 자체가 변하고 있을 때 가장 빠르게 우리를 오도합니다.
더 미묘한 함정도 있습니다. 점수를 의식하다 보면 좋은 성적을 내기 쉬운 안전하고 단기적인 질문 쪽으로 끌려가고, 판단이 가장 중요한 막연하고 중대한 질문에서는 멀어질 수 있습니다. 이 방법은 특정한 종류의 질문을 위한 도구이지, 세계관이 아닙니다. 잘 쓰면 사고를 날카롭게 벼려줍니다. 잘못 쓰면 중요하지 않은 일에 대해 정밀하다는 기분만 내는 수단이 됩니다.
자주 묻는 질문
슈퍼예측가란 무엇인가요?
슈퍼예측가는 점수가 매겨진 수많은 질문에 걸쳐, 같은 질문을 예측한 거의 모든 사람보다 꾸준히 더 정확한 확률 예측을 한다는 것이 입증된 사람입니다. 이 용어는 필립 테틀록의 Good Judgment Project에서 나왔으며, 이 프로젝트는 해마다 예측가 상위 2%에게 이 칭호를 주었습니다. 그중 약 70%는 이듬해에도 칭호를 지켰습니다. Good Judgment Inc.는 지금도 전문 예측가 패널에 이 칭호를 쓰고 있습니다.
가장 유명한 슈퍼예측가는 누구인가요?
가장 잘 알려진 두 사람은 테틀록의 책 《슈퍼 예측》에 소개되어 있습니다. 은퇴한 컴퓨터 프로그래머 더그 로치는 첫해에 약 2,800명의 예측가 가운데 5위를 차지했고, 이듬해에는 프로젝트 전체에서 가장 좋은 점수를 냈습니다. 네브래스카 출신의 전직 미국 농무부 직원 빌 플랙도 두각을 나타낸 인물입니다. 두 사람 모두 전문 예측가도 정보 분석관도 아니었습니다.
슈퍼예측가는 AI보다 뛰어난가요?
2026년 현재로서는 분명하게 그렇다고 말하기 어렵습니다. 2026년 7월 Forecasting Research Institute는 ForecastBench에서 여러 AI 시스템이 슈퍼예측가와 통계적으로 구별되지 않으며, 데이터 시계열에서 생성된 질문에서는 많은 시스템이 더 나을 가능성이 높다고 발표했습니다. 다만 이 비교의 인간 기준선은 2024년의 것입니다. 2026년 봄에는 Metaculus의 프로 예측가들이 최고의 봇 팀을 여전히 앞섰지만 그 차이는 통계적으로 유의하다고 보기에는 너무 작았고, 2026년 여름 Metaculus Cup에서는 두 봇이 모든 인간 참가자를 앞질렀습니다. Good Judgment는 표본이 작기는 하지만 자사의 고객 업무에서는 AI가 슈퍼예측가에 필적한다는 결과를 아직 보지 못했다고 말합니다.
슈퍼예측가가 되려면 어떻게 해야 하나요?
점수가 매겨진 기록을 오랫동안 쌓으세요. Good Judgment Open이나 Metaculus에서 꾸준히 예측하고, 몇 개가 아니라 많은 질문에 답하고, 뉴스가 들어오면 예측을 갱신하고, 자신의 추론을 글로 남기세요. Good Judgment에 따르면 이 회사는 해마다 가을 Good Judgment Open에서 전문 슈퍼예측가 후보를 모집합니다. 지원자에게 그곳에서 최소 100개의 질문을 예측하게 하고, 정확도와 코멘트의 질, 동료와 협력하는 태도를 살피며, 시범 업무를 맡길 수도 있고, 채용된 사람에게는 3개월의 수습 기간을 거치게 합니다.
슈퍼예측은 배울 수 있나요?
네, 그것이 이 책의 핵심 발견입니다. 슈퍼예측가들은 지능 검사에서 평균보다 높은 점수를 받았지만 천재는 아니었고, 테틀록은 슈퍼예측가가 될지를 가장 강력하게 예측하는 변수가 "지속적 베타", 곧 믿음을 갱신하고 스스로를 개선하려는 헌신이었으며, 그 힘이 지능보다 약 세 배 강했다고 씁니다. 대회의 무작위 훈련 실험에서는 약 1시간의 훈련만으로 평범한 예측가들의 정확도가 6%에서 11% 높아졌습니다.
《슈퍼 예측》은 《결정, 흔들리지 않고 마음먹은 대로》와 어떻게 다른가요?
둘은 상호 보완적입니다. 애니 듀크의 《결정, 흔들리지 않고 마음먹은 대로》(원제 Thinking in Bets)는 불확실성 속에서의 결정의 질과, 좋은 결정을 운 좋은 결과에서 분리하는 데 초점을 맞춥니다. 테틀록의 《슈퍼 예측》은 예측 그 자체에 초점을 맞춥니다. 미래의 사건에 정확한 확률을 어떻게 부여하고, 자신이 잘 보정되어 있었는지를 어떻게 측정할 것인가 하는 문제입니다. 하나는 잘 결정하는 것에 관한 것이고, 다른 하나는 명료하게 보는 것에 관한 것입니다. 함께 읽으면 불확실성 속 추론의 양면을 모두 아우릅니다.
브라이어 점수란 쉽게 말해 무엇인가요?
확률적 예측에 점수를 매기는 방법으로, 낮을수록 좋고 0이 완벽합니다. 이 점수는 두 가지를 동시에 평가합니다. 보정(70%라고 예측한 일은 실제로 약 70%의 빈도로 일어나야 한다는 것)과 해상도(늘 50% 근처에서 얼버무리는 대신 단호한 입장을 취하는 것)입니다. 이를 계산하려면 예측과 결과를 꾸준히 쌓아 가는 기록이 필요하며, 바로 그 때문에 예측 일지를 쓰는 것이 이 습관 전체의 토대가 됩니다.
더 나은 예측가가 되려면 수학이 필요한가요?
고급 수학은 필요하지 않습니다. 핵심은 습관입니다. 질문을 부분으로 쪼개고, 기저율에서 시작하고, 자신의 견해를 구체적인 숫자로 표현하고, 증거가 도착할 때마다 작은 단계로 갱신하는 것입니다. 베이즈주의적 갱신은 방정식이기 이전에 하나의 사고방식입니다. 진짜 병목은 계산이 아니라, 자신의 예측을 적어두고, 정직하게 확인하고, 마음을 바꾸려는 의지입니다.
오늘 당장 연습을 시작하려면 어떻게 하나요?
명확한 답과 가까운 마감이 있는 질문 몇 개를, 여러분의 일이나 읽기, 혹은 뉴스에서 골라보세요. 각각에 대해 구체적인 확률과 그 추론을 담은 한 문장을 적으세요. 각 질문의 결과가 나오면 예측과 비교하고 짧은 사후 분석을 하세요. 읽으면서 예측을 하이라이트하고 여백에 확률을 덧붙여 두면, 평소의 읽기에서 연습 문제가 끊임없이 생겨납니다.
맺음말
《슈퍼 예측》의 조용한 급진성은 그 낙관에 있습니다. 수십 년 동안 테틀록의 연구에서 얻어낸 결론은 냉소적이었습니다. 전문가는 예측할 수 없으니 애쓸 필요가 있느냐는 것이었습니다. 대회는 그것을 뒤집었습니다. 하나의 방법과 점수를 기록하는 규율로 무장한 평범한 사람들이, 기밀 파일을 가진 전문가들보다 미래를 더 명료하게 보는 법을 배웠습니다. 그 방법은 가르칠 수 있으며, 대부분은 신중한 독자라면 누구나 쌓을 수 있는 습관으로 귀결됩니다. 최고의 AI 시스템이 주요 벤치마크에서 슈퍼예측가와 어깨를 나란히 하게 된 지금, 같은 습관은 사람이 내놓았든 모델이 내놓았든 여러분 앞에 놓인 모든 예측을 판단하는 방법이기도 합니다.
작게 시작하세요. 질문을 쪼개고, 이런 일들이 보통 얼마나 자주 일어나는지에 닻을 내리고, 자신의 믿음에 구체적인 숫자를 붙이고, 세상이 답을 내놓을 때마다 자존심을 내려놓고 그 숫자를 갱신하세요. 그런 다음 그것을 적어두세요. Glasp 웹 하이라이터를 사용해 읽으면서 만나는 주장을 붙잡고 각각에 자신의 확률을 메모하세요. YouTube 영상 요약을 활용해 여러분이 보는 영상 속 논증에 대해 예측을 기록하세요. 그리고 Glasp의 커뮤니티 피드에서는 다른 신중한 독자들이 똑같은 불확실성을 어떻게 헤쳐 나가며 추론하는지 볼 수 있습니다. 잘 예측하는 것은 하나의 기술입니다. 가질 만한 가치가 있는 모든 기술이 그렇듯, 그것은 의도적인 연습과 정직한 피드백, 그리고 배울 수 있는 기록에서 자라납니다. 이 모든 것을 하나로 붙들어주는 노트 필기 시스템에 대해서는 스마트 노트 작성법을 참고하세요.
