3년 동안의 세 시대
웹의 역사 대부분에서 크롤링은 신사협정으로 굴러갔습니다. robots.txt는 울타리가 아니라 요청입니다. 그래도 작동했던 이유는 그 밑에 깔린 거래가 공정했기 때문입니다. 검색 엔진은 당신의 페이지를 복사하는 대가로 독자를 보내주었습니다.
생성형 AI가 그 환율을 깨뜨렸고, 그에 대한 반응은 세 개의 뚜렷한 물결로 찾아왔습니다.
첫 번째 시대, 대략 2022년부터 2024년 중반까지: 무법지대. 학습 코퍼스는 닿을 수 있는 모든 것으로 만들어졌습니다. 대다수 사이트 운영자는 어떤 봇이 방문하는지조차 몰랐고, 이유는 더더욱 몰랐습니다. 서버 로그를 뒤지는 것 말고는 확인할 도구도 거의 없었습니다.
두 번째 시대, 2024년 중반부터 2025년까지: 차단이 원클릭이 되었습니다. 2024년 9월, Cloudflare는 AI 크롤러를 차단하는 토글 하나를 무료 요금제까지 포함해 내놓았습니다. 2025년 7월에는 100만 곳이 넘는 고객이 이 기능을 켰다고 밝혔습니다. 그리고 2025년 7월 1일, 한 걸음 더 나아갔습니다. 새로 등록하는 도메인은 온보딩 과정에서 AI 크롤러를 허용할지 질문을 받았고, 시작 위치는 '차단'이었습니다. 이 발표에는 48곳의 지지 기관이 이름을 올렸는데, Associated Press, The Atlantic, Condé Nast, Gannett, TIME, Reddit, Pinterest, Quora, Stack Overflow가 포함된 이례적으로 폭넓은 연합이었습니다.
같은 날, pay per crawl이라는 실험도 등장했습니다. 구조는 우아했습니다. 사이트가 가격을 설정하면 대금을 내지 않은 크롤러는 HTTP 402 Payment Required를 받고, 결제한 크롤러는 인증 정보를 붙여 다시 요청합니다.
2025년 9월에는 Content Signals Policy가 나왔습니다. robots.txt의 확장으로, 하나였던 허가를 세 가지 별도의 질문으로 쪼갭니다. 이 페이지를 검색용으로 색인해도 되는가? 생성된 답변의 입력으로 사용해도 되는가? 학습에 사용해도 되는가? CC0로 공개되었고, 관리형 robots.txt를 쓰는 약 380만 개 도메인에 자동으로 적용되었습니다.
세 번째 시대, 2026년: 신원과 돈. 차단은 작동하지만, 차단만으로는 너무 무딘 도구입니다. 어떤 에이전트는 허용하고 어떤 에이전트는 막고 싶다면, 먼저 지금 문을 두드리는 게 누구인지 알아야 합니다. 그래서 두 가지가 뒤따랐습니다. Web Bot Auth는 HTTP Message Signatures(RFC 9421)를 Ed25519 키와 함께 적용해 봇이 자기가 누구인지 암호학적으로 증명하게 하며, IP 허용 목록과 위조하기 쉬운 user-agent 문자열을 대체합니다. 그리고 오랫동안 잠들어 있던 402 상태 코드 위에 세워진 개방형 결제 방식 x402는 2026년 Linux Foundation 산하 단체로 옮겨갔고, 회원사에는 AWS, Cloudflare, Anthropic, Circle이 포함되어 있습니다.
이어서 2026년 7월 1일, 제어 기능이 Content Signals의 3분할 구조를 중심으로 재설계되었습니다. Search, Agent, Training이 각각 독립된 스위치가 되었고, 무료를 포함한 모든 요금제에서 쓸 수 있게 되었습니다. 그리고 날짜가 하나 정해졌습니다. 2026년 9월 15일부터 새로 온보딩하는 도메인은 광고를 표시하는 페이지에서 Training과 Agent가 기본 차단되고, Search만 허용된 채로 시작합니다. 기존 고객은 설정해둔 값을 그대로 유지하며, 바꾸려면 직접 바꿔야 합니다. 여기에 붙은 설명은 이 주제에 대해 지금까지 나온 가장 명료한 문장이라 다시 옮길 가치가 있습니다. 광고가 있다는 것은 사이트 운영자가 사람이 그 페이지에 도착하기를 의도했다는 신호라는 것입니다.
이 날짜에는 또 하나의 날 선 측면이 있습니다. Googlebot, Bingbot, Applebot처럼 하나 이상의 목적을 겸하는 크롤러는 그 모든 동작을 기준으로 판정되기 때문에, Training을 차단하면 이들이 통째로 차단됩니다. 이 결합은 퍼블리셔를 겨냥한 것이 아닙니다. 아무도 거절할 여유가 없는 크롤러를 가진 그 한 회사를 겨냥한 것입니다.
3년입니다. 기본값 개방에서 기본값 차단으로, 대체로 한 회사의 온보딩 화면이 결정한 변화였습니다.
현재 위치: 크롤 대 유입 격차
이 논쟁 전체에서 가장 쓸모 있는 숫자는 비율 하나입니다. AI 기업이 방문자 한 명을 돌려보낼 때마다 당신에게서 몇 페이지를 가져가는가?
Cloudflare는 2025년 7월부터 이 수치를 공개하기 시작했는데, 편차가 놀랍습니다.
| 플랫폼 | 크롤 대 유입 비율, 2025년 1월 | 크롤 대 유입 비율, 2025년 7월 |
|---|---|---|
| Anthropic | 286,930 : 1 | 38,066 : 1 |
| OpenAI | 1,217 : 1 | 1,091 : 1 |
| Perplexity | 55 : 1 | 195 : 1 |
| Microsoft | 39 : 1 | 41 : 1 |
| 4 : 1 | 5 : 1 |
Google 행을 읽은 다음, Anthropic 행을 다시 읽어보시기 바랍니다. 전통적인 검색은 방문자 한 명을 보내는 데 대략 두세 페이지에서 다섯 페이지가 들었습니다. 답변 엔진은 수천 페이지를 가져갑니다.
공개한 쪽이 자기 지표에 대해 직접 밝혔지만 거의 모든 기사가 빠뜨리는 단서가 있습니다. 네이티브 모바일 및 데스크톱 앱에서 오는 트래픽에는 리퍼러 헤더가 없어 유입이 과소 집계되며, 앱 사용량이 많은 기업일수록 실제보다 나쁘게 보입니다. 방향 자체에는 의심의 여지가 없습니다. 정확한 배수가 불확실할 뿐입니다.
여기에 두 숫자를 더하면 그림이 잡힙니다. 2025년 한 해 동안 AI 봇은 HTML 요청의 약 4.2%를 차지했는데, 이는 Googlebot 하나가 차지한 비중과 거의 같습니다. 그리고 2026년 중반에는 인터넷 전체 트래픽의 절반 이상이 사람이 아닌 것에서 나왔습니다.
한편 사람 쪽은 계속 줄어들었습니다. Google이 AI 요약을 보여주면 웹사이트로 클릭이 이어지는 검색의 비중은 급격히 떨어집니다. Cloudflare의 2026년 7월 보고서는 이를 냉정하게 표현했습니다. 정보를 찾느라 온라인에서 보내는 한 시간 중 열린 웹에서 보내는 시간은 15분 남짓이라는 것입니다.
콘텐츠 성과는 멀쩡한데 애널리틱스만 나빠 보이는 이유가 궁금하셨다면, 이것이 그 답의 형태입니다. 측정 쪽에서 무엇을 해야 하는지는 AEO와 GEO 가이드에서 다룹니다.
모든 에이전트 요청이 통과하는 네 개의 관문
지난 2년간의 발표들이 딱 맞아떨어지게 만드는 틀이 여기 있습니다.
사람이 페이지를 열 때 인프라가 던지는 질문은 단순합니다. 내줄 것인가, 말 것인가. 그런데 에이전트가 요청을 보내면 네 가지 질문에 답해야 하고, 보통은 같은 왕복 안에서 답해야 합니다.
- 컴퓨트. 에이전트는 어딘가에서 실행됩니다. 에이전트 세션은 특이한 워크로드입니다. 사용자 한 명, 에이전트 하나, 작업 하나가 오랫동안 살아 있지만 대부분의 시간은 모델을 기다리며 유휴 상태입니다. 수천 명의 동시 방문자를 처리하는 웹 서버와는 형태가 완전히 다르고, 그래서 인프라 벤더들은 시간 단위로 과금하는 컨테이너 대신 유휴 시 동면하는 경량 아이솔레이트 쪽으로 움직였습니다.
- 신원. 이건 어떤 에이전트이고, 누가 권한을 주었는가? user-agent 문자열은 자격 증명이 아니라 주장일 뿐입니다. Web Bot Auth가 존재하는 이유가 이것이며, 봇이냐 사람이냐가 더 이상 쓸모 있는 구분이 아닌 이유이기도 합니다. 중요한 건 어떤 봇이, 누구의 지시로, 무엇을 할 수 있게 허락받았는가입니다.
- 접근. 무엇까지 닿을 수 있는가? 공개 기사를 읽는 것, 내부 API를 호출하는 것, 로그인된 계정으로 무언가를 실행하는 것은 서로 다른 세 가지 권한인데, 지금 대부분의 사이트는 이를 하나로 취급합니다.
- 결제. 출처에 갚아야 할 것이 있다면 무엇인가? 가장 새로운 관문이자, 압도적으로 가장 정리되지 않은 관문입니다.
2년 전만 해도 이 넷은 별개의 제품 카테고리였습니다. 호스팅, 봇 관리, 접근 제어, 결제였습니다. 업계가 걸고 있는 베팅은 에이전트 트래픽에 대해 이 넷이 하나의 결정으로 합쳐진다는 것입니다. 요즘 읽으시는 소식 대부분의 실제 전략이 바로 이것입니다. 인프라 회사들이 10년 동안 피해 다니던 퍼블리셔 경제학에 갑자기 관심을 갖게 된 이유도 여기서 설명됩니다.
누가 관문을 쥐고 있는가
이제 불편한 대목입니다. 이 방향이 마음에 들더라도 분명히 짚고 넘어갈 가치가 있습니다.
한 회사가 웹의 약 5분의 1 앞에 서 있습니다. 그 회사는 봇 신원 사양을 직접 작성했고, 그 사양이 의존하는 키 레지스트리를 운영하며, 어떤 봇이 검증되는지 결정하고, 언제 검증을 취소할지도 단독으로 결정하며, 무료 요금제 고객의 크롤러 기본값을 정하고, 2026년 1월에 콘텐츠 라이선싱 마켓플레이스를 인수했으며, 결제의 판매자(merchant of record) 역할을 하고, 경쟁 당국에 자사 최대 경쟁사의 크롤러를 목적별로 분리하도록 강제해달라는 신고를 제출했습니다.
각각 따로 보면 어느 것도 부당하지 않습니다. 하지만 합쳐 놓고 보면, 누가 공개된 웹을 읽을 수 있는지에 대해 막대한 재량을 쥔 사기업의 모습이 됩니다.
검증 취소 권한이 가장 날카로운 끝입니다. 2025년 8월, Perplexity는 자신을 차단한 페이지에 접근하려고 신원을 바꿔가며 선언하지 않은 크롤러를 사용했다는 보고가 나온 뒤 검증된 봇 목록에서 제외되었습니다. Perplexity는 그 귀속을 부인하며 해당 보고를 홍보성 이벤트라고 불렀습니다. 진실이 무엇이든, 그 절차 자체는 눈여겨볼 만합니다. 보고가 있었고, 결정이 있었고, 웹의 상당 부분에 걸친 집행이 있었으며, 문서화된 이의 제기 절차는 없었습니다.
신원 계층이 보도만큼 정리되어 있지 않다는 점도 알아둘 필요가 있습니다. 2026년 8월 기준으로 Web Bot Auth는 IETF의 개별 초안(Internet-Draft)으로 존재합니다. 어느 것도 워킹그룹에 채택되지 않았고, 어느 것도 RFC가 아닙니다. 표준화 기구가 이를 확정했다는 주장이 널리 퍼져 있지만 사실이 아닙니다. 대형 플랫폼 두 곳이 함께 서명한 벤더 구현으로 보시면 됩니다. 실체가 있는 일이지만 표준과 같지는 않습니다.
덧붙이자면, 법원은 표준화 기구보다 빠르게 움직이고 있고, 그 방향은 표지판보다 울타리에 유리합니다. 2026년 7월 미국 법원은 안티봇 조치를 우회하는 행위가 저작권 침해와 별개로 DMCA의 우회 금지 조항에 따라 독자적으로 소송 대상이 된다는 주장을 진행시켰습니다. 같은 해 앞서 다른 법원은 사용자의 동의가 접근 권한이 취소된 플랫폼에 에이전트가 접근할 근거가 되지는 않는다고 판단했습니다. 그리고 2026년 7월에 승인된 미국 역사상 최대 규모의 저작권 합의는 불법 복제된 학습 자료의 가치를 저작물당 약 3,100달러로 매겼습니다.
인프라 쪽 논리와 법률 쪽 논리가 서로 반대편에서 출발해 같은 결론에 수렴하고 있습니다. 무엇을 허용하는지 선언하고, 그 경계를 실체로 만들라는 것입니다.
출시된 것 vs 아직 보도자료인 것
이 절은 북마크해 두시면 좋습니다. 에이전틱 웹을 둘러싼 서사는 실제로 살 수 있는 것보다 한참 앞서 달리고 있는데, 둘 다 같은 방식으로 발표되기 때문에 그 격차를 놓치기 쉽습니다.
| 기능 | 상태, 2026년 8월 |
|---|---|
| 원클릭 AI 크롤러 차단 | 출시 완료, 무료 포함 전 요금제 |
| Search / Agent / Training 3분할 제어 | 무료 포함 전 요금제에 출시 완료. 새 기본값은 2026년 9월 15일부터 신규 온보딩 도메인에 적용 |
| robots.txt의 Content Signals | 출시 완료, CC0, 약 380만 개 도메인에 적용 |
| 크롤러 애널리틱스 및 봇별 허용/차단 | 출시 완료, 다만 가장 풍부한 대시보드는 엔터프라이즈 전용 |
| 호스팅형 원격 MCP 서버 | 출시 완료, 널리 사용 중 |
| 암호학적 봇 신원(Web Bot Auth) | 여러 대형 플랫폼이 구현했지만 IETF 개별 초안 단계, RFC 없음 |
| Pay per crawl | 2025년 7월 이후 비공개 베타. 매출, 거래 건수, 결제 크롤러 수 중 어느 것도 공개된 적 없음 |
| Pay per use, 페치가 아닌 인용 기준 과금 | 2026년 7월 발표, 제공 벤더 스스로 실험이라고 설명 |
| 페이지, API, 에이전트 도구용 스테이블코인 페이월 | 대기자 명단. 전부 미래형 문장으로 작성됨 |
여기서 도출되는 실무 규칙은 이렇습니다. 정식 출시(GA) 시점에 도입하고, 베타에는 빠져나올 경로가 있을 때만 프로토타입을 붙이며, 위 표의 아래쪽 절반에 의존하는 매출 항목은 절대 계획에 넣지 마십시오.
도입 격차가 곧 기회입니다
2026년 4월, Cloudflare는 상위 200,000개 도메인이 에이전트 트래픽에 얼마나 대비되어 있는지 점수를 매겨 공개했습니다. 결과는 놀랍습니다.
| 기능 | 상위 200,000개 도메인 중 비율 |
|---|---|
| robots.txt 보유 | 78% |
| 기계가 읽을 수 있는 사용 신호 선언(Content Signals) | 4% |
| 마크다운 콘텐츠 협상 지원 | 3.9% |
| 기계가 호출 가능한 인터페이스 노출(MCP 서버 카드 또는 API 카탈로그) | 총 15곳 미만 |
15곳 미만입니다. 200,000곳 중에서 말입니다. 웹이 얼마나 에이전트에 대응되어 있는지에 대한 그들 자신의 요약은 이렇습니다. "짧게 답하자면, 별로 그렇지 않습니다."
검색 엔진 최적화와 비교해 보십시오. 거기서는 모든 경쟁사가 당신과 똑같은 마흔 가지를 하고 있습니다. 여기서는 기본기조차 임자가 없습니다. 게다가 대부분은 반나절이면 끝납니다.
마크다운 협상이 들리는 것보다 훨씬 중요한 이유가 있습니다. 크롤러가 요즘 페이지를 가져올 때는 당신의 실제 논지가 담긴 문장 하나에 닿기 전에 내비게이션, 쿠키 배너, 애널리틱스 태그, 프레임워크의 하이드레이션 페이로드에 먼저 비용을 치릅니다. 요청하는 클라이언트에게 깔끔한 마크다운을 제공하면 토큰이 극적으로 줄어듭니다. 읽는 비용이 싸다는 것은 끝까지 읽힐 가능성이 높다는 뜻이고, 정확하게 인용될 가능성도 높다는 뜻입니다.
에이전트 대응 체크리스트
투입 시간당 성과 순으로 정리했습니다.
| 단계 | 내용 | 효과 |
|---|---|---|
| 1. 의도를 선언하기 | 검색, AI 입력, 학습을 하나의 일괄 허용/거부가 아니라 세 개의 별도 답변으로 설정 | 2026년 9월 기본값 변경으로 침묵도 하나의 결정이 됩니다. 또한 EU에서는 명시적 유보가 법적 효력을 갖습니다 |
| 2. 읽기 싸게 만들기 | 깔끔한 HTML, 진짜 헤딩, 요청하는 클라이언트를 위한 마크다운, 핵심 콘텐츠를 클라이언트 사이드 렌더링 뒤에 두지 않기 | 당신을 인용하는 비용을 낮추고 오인용을 줄입니다 |
| 3. 단위로 인용 가능하게 만들기 | 자체 완결적인 섹션, 상단에 가까운 정의, 비교는 표로, 주장에는 날짜를 | 답변 엔진은 페이지가 아니라 조각을 인용합니다 |
| 4. 호출 가능하게 만들기 | 닿을 가치가 있는 데이터나 동작이 있다면 MCP 서버를 노출 | 상위 200,000곳 중 15곳도 하지 않았습니다 |
| 5. 귀속 가능하게 만들기 | 안정적인 URL, 드러나는 저자 정보, 명시적인 발행일과 갱신일, canonical 태그 | 지금까지 제안된 모든 결제 방식은 귀속을 단위로 삼습니다 |
| 6. 크롤이 아니라 인용을 측정하기 | 봇이 몇 바이트를 가져갔는지가 아니라, 답변에 등장하는지와 누군가 실제로 도착하는지를 추적 | 크롤 애널리틱스를 파는 벤더들조차 이제 크롤 수는 가치의 대리지표로 망가졌다고 말합니다 |
6번은 직관과 정반대이기 때문에 강조할 필요가 있습니다. 2026년 7월, Cloudflare는 크롤 단위 과금에서 손을 떼면서 이유를 밝혔습니다. 좋은 봇에서 오는 크롤 트래픽의 절반 이상이 바뀌지도 않은 페이지를 다시 가져오는 데 쓰인다는 것입니다. 그들의 표현을 빌리면, 어떤 페이지는 "한 번 크롤된 뒤 수천 개의 답변에 인용될 수도 있고, 몇 번이고 크롤되면서 한 번도 쓰이지 않을 수도 있습니다." 크롤을 세는 것이 사업의 전부인 회사가 크롤 수는 가치를 재지 못한다고 말한다면, 믿으셔도 됩니다.
1단계의 파일별 실무가 궁금하시다면 llms.txt vs robots.txt vs ai.txt에서 따로 정리해 두었습니다. 4단계의 프로토콜 계층은 에이전틱 웹의 프로토콜 전쟁에서 다룹니다.
함정: 읽히는 것과 돈을 받는 것은 다릅니다
멀쩡해 보이던 계획들이 어긋나는 지점이 바로 여기입니다.
이야기는 이렇게 흘러갑니다. 크롤러를 차단해 희소성을 만들고, 접근에 요금을 매겨 돈을 받는다. 차단하는 부분은 작동했습니다. 요금을 받는 부분은, 지금까지는 작동하지 않았습니다.
Pay per crawl은 2025년 7월에 시작되었고 1년이 넘은 지금도 비공개 베타에 머물러 있습니다. 금액도, 거래 건수도, 돈을 내는 크롤러 수도 공개된 적이 없습니다. 이름이 알려진 참여자는 작은 회사들입니다. 가장 큰 AI 랩 중 어느 곳도 돈을 내지 않습니다.
가장 시사적인 데이터는 2026년 초에 pay per crawl을 켠 Stack Overflow에서 나왔습니다. Stack Overflow의 Josh Zhang이 무슨 일이 벌어졌는지 이렇게 설명합니다. "Pay Per Crawl을 켜고 제공을 시작하면서, 제 기억으로는 402로 응답하기 시작했는데, 예전에 403 차단만 받던 그 봇들 중 일부는 아예 우리 쪽으로 트래픽을 보내지 않게 되었습니다." 그들은 돈을 내지 않았습니다. 그냥 떠났습니다.
하루에 10억 건이 넘는 HTTP 402 응답이 나간다는 통계가 널리 인용됩니다. 찬찬히 읽어보십시오. 402는 아무도 받아들이지 않은 견적서입니다. 그것이 재는 것은 매출이 아니라 거절입니다.
그러다 2026년 7월, 과금 단위가 크롤에서 사용으로 바뀌었습니다. 당신의 콘텐츠가 생성된 답변에 등장할 때 지급한다는 뜻입니다. 더 나은 아이디어입니다. 동시에 첫 번째 아이디어가 가격을 형성하지 못했다는 자백이기도 합니다. 이를 운영하는 회사는 스스로 실험이라고 부르고 있고, 그 CEO는 인터넷 규모에서 이 방식에 필요한 정산 레일이라면 초당 100만 건을 훨씬 넘는 거래를 처리해야 하는데 아무도 그걸 만들어놓지 않았다고 공개적으로 말했습니다.
한편 이 분야에서 실제로 돈이 오간 모든 거래는 AI 기업 한 곳과 대형 권리자 한 곳 사이의 직접 양자 라이선스였고, 중간 인프라는 전부 건너뛰었습니다.
그래서 무언가를 만드는 사람에게 정직한 요약은 이렇습니다. 에이전트가 읽기 쉽게 만드는 일은 오늘 보상이 돌아옵니다. 에이전트에게서 돈을 받는 일은 아직 시장으로 존재하지 않습니다. 앞엣것을 하십시오. 뒤엣것을 예산에 넣지 마십시오.
다만 지렛대 자체는 진짜였고, 그 점은 인정할 만합니다. 거절을 원클릭으로 만든 덕분에 퍼블리셔들은 전에 없던 협상력을 갖게 되었고, 수십 건의 라이선스 계약이 뒤따랐습니다. 인프라가 시장이 된 것은 아닙니다. 시장을 협상할 수 있게 만든 이유가 되었을 뿐입니다.
온라인으로 읽고 배우는 사람에게 이것이 뜻하는 것
잠시 인프라에서 한 발 물러나 보겠습니다. 웹으로 배우는 모든 사람에게 따라오는 결과가 있기 때문입니다.
두 가지 일이 동시에 벌어지고 있습니다. 열린 웹은 관문마다 조금씩 닿기 어려워지고 있습니다. 그리고 그 웹에 접근하는 인터페이스는 직접 판단하는 링크 목록에서, 대체로 믿을 수밖에 없는 합성된 문단으로 옮겨가고 있습니다.
두 흐름 모두 가치를 같은 방향으로 밀어냅니다. 이제 거의 공짜가 된 '정보를 찾는 일'에서 멀어지고, 그것을 판단하고, 간직하고, 어디서 왔는지 보여줄 수 있는 능력 쪽으로 이동합니다. 생성된 답변은 무한히 만들어낼 수 있습니다. 하지만 특정한 한 사람이 무엇을 읽었고, 무엇을 간직할 가치가 있다고 판단했으며, 정확히 어느 구절에서 온 것인지에 대한 기록은 그럴 수 없습니다.
그것이 오래 남는 계층이고, 우리가 Glasp를 지금의 방식으로 만드는 이유입니다. Glasp 웹 하이라이터를 쓸 때 저장되는 것은 페이지 요약이 아닙니다. 당신이 고른 문장이고, 출처가 붙어 있으며, 날짜가 찍혀 있습니다. YouTube 영상 요약을 돌리면 타임스탬프가 트랜스크립트에 그대로 붙어 있어 주장을 계속 검증할 수 있습니다. Kindle 하이라이트도 같은 자리에 모입니다. 그리고 하이라이트는 기본적으로 공개이기 때문에, 어떤 독자가 간직할 가치가 있다고 표시한 것이 다른 모든 사람에게 신호가 됩니다. 이것이야말로 어떤 모델도 스스로 만들어내지 못하는 종류의 판단입니다.
여기에는 실용적인 버전도 있습니다. 노트가 출처 우선으로 쌓여 있다면, 그 노트는 이 전환을 견뎌냅니다. 판단까지 넘기지 않고도 AI 어시스턴트에게 맥락으로 건넬 수 있는데, 이것이 모델을 사용하는 것과 사고를 모델에 외주 주는 것의 차이입니다. 이 긴장에 대해서는 AI 사고의 함정에서, 큐레이션이 왜 희소한 역량이 되어가는지는 AI 시대의 인간 큐레이터에서 더 자세히 다뤘습니다.
웹은 기계를 위해 다시 지어지고 있습니다. 지킬 가치가 있는 부분은, 사람이 무엇을 중요하다고 판단했는지를 기록하는 부분입니다.
자주 묻는 질문
2026년 9월 15일에 실제로 무엇이 바뀌나요?
기존의 단일 "AI 봇 차단" 토글이 검색, 에이전트, 학습이라는 세 개의 독립 제어로 대체됩니다. Cloudflare에 새로 온보딩하는 도메인은 광고를 표시하는 페이지에서 학습과 에이전트 접근이 기본 차단되고, 검색은 허용된 상태로 유지됩니다. 기존 설정을 대신 고쳐주지는 않는데, 안심되는 말처럼 들리지만 사람들이 생각하는 것과는 정반대의 뜻입니다. 새 제어를 한 번도 설정하지 않았다면, 설정하지 않음으로써 이미 선택을 한 것입니다. 또한 여러 목적을 동시에 수행하는 크롤러는 그 모든 목적을 기준으로 판정되므로, 학습을 차단하면 Googlebot도 함께 차단된다는 점을 유념하십시오.
제 사이트에서 AI 크롤러를 차단해야 할까요?
크롤러에게서 무엇을 얻고 있느냐에 달렸고, 3분할 제어 덕분에 이제야 그 질문에 제대로 답할 수 있게 되었습니다. AI 답변 안에 등장하는 것이 독자나 고객을 데려온다면, 사람을 돌려보내주는 쪽은 그 범주이므로 AI 입력 카테고리는 허용하십시오. 학습은 별개의 질문이고, 대부분의 경우 답도 다릅니다. 인용도 트래픽도 만들어내지 않기 때문입니다. 전부 차단하는 것도 실제 선택지이지만, 그 대가로 발견 가능성을 내주는 것이라는 점을 이해하셔야 합니다. 2026년 현재 대부분의 사이트에서는 그 손실이 학습 노출보다 큽니다.
크롤러를 차단하면 AI 기업들이 정말 돈을 내나요?
지금까지는 아닙니다. 결제 방식은 2025년 중반부터 제한적 베타에 머물러 있고 공개된 매출이 없으며, 가장 큰 랩들은 참여하지 않습니다. 차단이 만들어낸 것은 협상력이고, 그 덕분에 대형 퍼블리셔들 사이에서 다수의 직접 라이선스 계약이 성사되었습니다. 대형 퍼블리셔가 아니라면, 차단은 매출 계획이 아니라 자기 콘텐츠에 대한 통제 수단으로 보시는 편이 맞습니다.
Web Bot Auth는 제가 구현해야 할 진짜 표준인가요?
실체는 있고 여러 대형 플랫폼이 구현했지만, 아직 표준은 아닙니다. 2026년 8월 기준으로 IETF의 개별 Internet-Draft로 존재하며, 워킹그룹 채택도 RFC도 없습니다. 크롤러나 에이전트를 운영한다면 도입하는 편이 합리적입니다. 알려진 행위자로 대우받는 방법이기 때문입니다. 웹사이트를 운영한다면 직접 구현할 일은 없고, 당신을 찾아오는 봇들이 구현했을 때 혜택을 볼 뿐입니다.
이번 주에 할 수 있는 가장 효과가 큰 한 가지는 무엇인가요?
세 개의 크롤러 제어를 기본값에 맡기지 말고 의도적으로 설정하십시오. 그런 다음 핵심 페이지를 파싱하기 싸게 만드십시오. 진짜 HTML 헤딩, JavaScript 없이도 존재하는 콘텐츠, 눈에 보이는 날짜와 저자 정보입니다. 체크리스트의 나머지도 중요하지만, 이 두 가지는 반나절이면 되고 그것만으로 상위 200,000개 도메인 대부분보다 앞서게 됩니다.
이게 효과가 있는지 어떻게 알 수 있나요?
크롤러 히트 수 세는 일을 멈추고 두 가지를 세기 시작하십시오. 주요 어시스턴트에게 당신의 주제를 물었을 때 콘텐츠가 답변에 등장하는지, 그리고 그 어시스턴트를 통해 실제로 누군가 찾아오는지입니다. 크롤 볼륨은 당신의 가치와 아무 상관 없는 이유로 움직이며, 그래서 크롤 애널리틱스를 파는 벤더들조차 이를 성공 지표에서 뺐습니다.
맺으며
흥미로운 변화는 AI 기업들이 웹을 크롤링한다는 사실이 아닙니다. 웹이 1994년 이래 줄곧 같은 방식으로 답해온 질문에 대해 조용히 답을 바꿨다는 사실입니다.
30년 동안 기본값은 "네, 가져가세요, 원하지 않으시면 알려주세요"였습니다. 2026년 현재 기본값은 점점 "아니요, 먼저 신원을 밝히세요"가 되고 있습니다. 이 일은 1년 남짓 만에 벌어졌고, 입법이나 표준화 기구보다는 수백만 사이트 운영자가 읽지 않고 클릭해 넘긴 설정 화면이 결정했습니다.
이것이 구조인지 울타리 치기인지는 어디에 서 있느냐에 달렸습니다. 어느 쪽이든 실무적인 대응은 같습니다. 무엇을 허용할지 물려받지 말고 직접 정하고, 원하는 에이전트에게는 읽기 쉬운 상태로 자신을 만들고, 무엇을 배웠고 그것이 어디서 왔는지에 대한 기록을 스스로 남기십시오. 마지막 하나는 어떤 인프라 회사도 대신해 줄 수 없는 부분이고, 관문이 어느 쪽으로 열리든 가치를 잃지 않는 부분입니다.
다시 찾고 싶은 문장 하나에서 시작해 보십시오. Glasp는 정확히 그것을 위해 만들어졌고, 무료로 써보실 수 있습니다.