“robots.txt에 막힘이 없으면 우리 네이버 블로그 글도 ChatGPT에 나오나요?”
AI를 업무에 쓰기 시작한 사업자라면 한 번쯤 품게 되는 질문입니다. 저도 같은 질문을 받고 답을 정리하려다, 확인부터 해보기로 했습니다.
결론부터 말씀드리면, 네이버 블로그는 ‘막힘이 없는’ 상태가 아니었습니다.
robots.txt는 건물 입구의 출입 안내에 가깝습니다. 어떤 방문객이 어느 층까지 들어가도 되는지 적어둔 문서죠. 그래서 이 문서를 읽는 일이 첫 관문인데, 정작 네이버 블로그의 안내문에는 무엇이 적혀 있는지 확인하지 않은 채 이야기가 오가는 경우가 많습니다
네이버 블로그 robots.txt에는 실제로 무엇이 적혀 있나?
2026년 8월 30일 확인 기준, 네이버 블로그는 주요 AI 봇을 도메인 전체에서 차단하고 있습니다.
주소창에 blog.naver.com/robots.txt 를 입력하면 누구나 볼 수 있는 내용입니다. 앞부분만 옮기면 이렇습니다.
# BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND
# RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: CCBot
Disallow: /맨 위 주석은 “AI 학습 및 검색증강생성(RAG) 목적의 봇 접근을 엄격히 금지한다”는 뜻입니다. 영어로 적어둔 건 대상이 해외 AI 기업의 크롤러이기 때문이겠죠. Disallow 뒤의 빗금 하나는 특정 폴더가 아니라도메인 전체를 뜻합니다. 모바일 주소인 m.blog.naver.com도 같은 내용입니다.
여기서 눈여겨볼 대목이 하나 있습니다. 학습용 봇인 GPTBot뿐 아니라검색·답변용 봇인 OAI-SearchBot까지 함께 막혀 있다는 점입니다. 둘 중 하나만 막았다면 해석의 여지가 있지만, 지금은 그렇지 않습니다.
그러면 네이버 블로그 글은 ChatGPT에 절대 안 나오나요?
아닙니다. 닫힌 것은 “AI가 스스로 찾아오는 길”이지, 모든 경로가 아닙니다.
세 가지를 구분해야 합니다.
첫째, robots.txt는 물리적인 차단 장치가 아니라 요청문입니다. 지킬지 말지는 각 봇 운영사의 정책에 달려 있습니다. 문에 “출입 금지”라고 써 붙인 것이지, 자물쇠를 채운 게 아닙니다.
둘째, 차단 목록에 없는 봇도 있습니다. 예를 들어 사용자가 대화창에 링크를 직접 붙여넣고 “이거 읽어줘”라고 할 때 움직이는 ChatGPT-User는 위 목록에 들어 있지 않습니다. 다만 이건 이미 그 사람이 URL을 알고 있을 때의 이야기라, 새로운 고객이 나를 발견하는 경로와는 다릅니다.
셋째, 다른 사이트가 내 글을 인용해두면 그 문서를 통해 내용이 전달되기도 합니다.
정리하면 이렇습니다.누가 데려가면 읽히지만, AI가 먼저 찾아오지는 않는 상태.사업자가 기대하는 건 보통 후자죠.
이 규칙을 제가 바꿀 수 있나요?
바꿀 수 없습니다. robots.txt는 도메인 하나당 파일 하나이고, 그 파일의 주인은 네이버입니다.
크롤러는 어떤 페이지를 가져가기 전에 호스트 맨 위의 robots.txt 한 개만 읽습니다. blog.naver.com/내아이디/글번호 를 보러 올 때도 규칙은 blog.naver.com/robots.txt 에서 찾지, 제 블로그 경로에서 찾지 않습니다.
우회로가 있는지도 확인해봤습니다. 개인 블로그 경로 뒤에 /robots.txt 를 붙이면 404, 즉 그런 파일 자체가 없습니다. 내 자리에 안내문을 따로 붙일 방법이 없다는 뜻입니다.
아파트로 치면 1층 현관에 “외판원 출입 금지” 안내문이 붙은 상황입니다. 우리 집 문 앞에 “저희는 환영합니다”를 붙여도 방문객은 애초에 1층에서 돌아갑니다.
이건 티스토리도 마찬가지입니다. 제가 이 블로그의 robots.txt를 직접 편집할 수는 없습니다. 차이는 딱 하나,티스토리에는 AI 봇 차단 규칙이 들어 있지 않다는 것뿐입니다. 남의 집에 세 들어 사는 건 같고, 집주인 방침이 다릅니다.
robots.txt를 내 뜻대로 쓰고 싶다면 방법은 하나입니다.내 도메인을 내가 운영하는 것.
봇을 한 덩어리로 묶지 마세요
한쪽은 검색 결과에 쓰기 위한 접근이고, 다른 쪽은 모델 학습을 위한 접근이라 허용 여부를 따로 정할 수 있습니다.
OpenAI만 해도 OAI-SearchBot과 GPTBot처럼 목적이 구분된 봇이 있습니다. 그래서 “GPTBot이 허용돼 있다”는 한 줄만 보고 ChatGPT 검색 노출이나 답변 인용까지 같다고 판단하면 어긋납니다. 반대도 마찬가지고요.
이 구분이 탁상공론이 아니라는 걸 국내 플랫폼 세 곳에서 확인했습니다. 같은 날 같은 방식으로 각 도메인의 robots.txt를 읽은 결과입니다.
플랫폼학습용 봇 (GPTBot 등)검색·인용용 봇 (OAI-SearchBot 등)
| 네이버 블로그 | 차단 | 차단 |
| 브런치 | 차단 | 허용 (관리 경로만 제외) |
| 티스토리 개인 블로그 | 별도 규칙 없음 | 별도 규칙 없음 |
브런치가 흥미롭습니다. 학습용 크롤러 16종은 전면 차단해두면서, OAI-SearchBot·ChatGPT-User·Claude-SearchBot·PerplexityBot에게는 글쓰기·설정 같은 관리 경로만 빼고 본문을 열어뒀습니다.“학습에 쓰는 건 안 되지만 검색 답변에 인용하는 건 된다”는 의사를 파일 하나로 분명하게 표현한 셈입니다.
네이버 블로그는 두 칸이 모두 차단이고, 제 티스토리는 AI 봇을 지목한 규칙이 아예 없어 기본 허용 상태입니다. 세 플랫폼이 전부 다릅니다.
실제 인용에서는 어떻게 나타났나?
규칙과 결과가 완전히 같지는 않았지만, 방향은 겹쳤습니다.
2026년 7월, 은퇴·노후 준비 관련 질문군으로 여러 AI 엔진의 답변을 모아 인용된 URL을 집계한 적이 있습니다. 그중 두 매체입니다.
매체인용 건수어느 엔진이 인용했나
| brunch.co.kr | 54건 | Perplexity 38 + Claude 16 |
| blog.naver.com | 44건 | Perplexity 44 (나머지 0) |
건수는 비슷한데닿은 엔진의 수가 달랐습니다.검색용 봇을 열어둔 브런치는 두 엔진에 잡혔고, 전면 차단한 네이버 블로그는 한 엔진에서만 잡혔습니다.
동시에 이 표는 앞에서 말한 “robots.txt는 요청문”이라는 점도 보여줍니다. 차단을 선언한 네이버 블로그가 44건 인용됐으니까요.차단이 곧 0건은 아닙니다.
하루치도 아니고 전수도 아닌 한 질문군의 관측이라 인과를 말할 수는 없습니다. 다만 “robots.txt를 왜 먼저 열어봐야 하는가”에 대한 답으로는 충분합니다. 파일 한 장이 그 채널에서 기대할 수 있는 도달 범위를 미리 알려주기 때문입니다.
네이버 블로그와 자사 사이트는 할 일이 다릅니다
네이버 블로그는 사람 독자와 네이버 검색을 위해 쓰고, AI에게 읽히고 싶은 글은 내 도메인에 남기세요.
역할을 나누면 무엇에 힘을 쓸지가 선명해집니다.
네이버 블로그에서 제가 통제할 수 있는 건 공개 여부, 제목과 본문의 일치, 신뢰 맥락, 수정 기록입니다. 이건 사람 독자와 네이버 검색에는 그대로 유효합니다. 반면 robots.txt, 메타데이터, 구조화 데이터, 크롤러의 실제 수집과 최종 답변 선택은 글쓴이가 바꿀 수 있다고 전제하면 안 됩니다.
바이브코딩으로 만든 랜딩페이지나 자사몰은 사정이 다릅니다. 대표 URL, 제목·설명·H1, HTML 본문, 작성자·수정일·출처, 그리고 robots.txt까지 직접 손볼 수 있습니다.
물론 이쪽도 노출 약속은 아닙니다. 다만중요한 사업 정보를 읽기 좋고 일관되게 정리해둘 권한이 내게 있느냐의 차이는 큽니다. 같은 한 시간을 써도 남는 것이 다릅니다.
내 채널의 robots.txt는 어떻게 확인하나?
주소창에 도메인 뒤 /robots.txt 를 붙이면 끝입니다.
https://내도메인.com/robots.txt 처럼요. 텍스트 파일이라 바로 읽힙니다. 파일이 길어서 눈으로 찾기 어렵다면 브라우저에서 찾기 기능(Ctrl+F, 맥은 Cmd+F)으로 GPTBot을 검색하세요.
터미널을 쓸 수 있다면 한 줄로 필요한 봇만 골라 볼 수 있습니다.
curl -s https://내도메인.com/robots.txt | grep -iE "gptbot|oai-searchbot|claudebot|perplexitybot"아무것도 안 나오면그 봇을 지목한 규칙이 없다는 뜻이고, 보통 기본 허용 상태입니다. 규칙이 없는 것과 허용이라고 적힌 것은 결과가 같습니다.
한 가지 주의할 점이 있습니다. robots.txt는 플랫폼 정책에 따라 언제든 바뀝니다. 브런치 파일에도 마지막 수정일이 적혀 있죠. 그러니 확인했다면날짜와 함께 기록해두시고, 중요한 판단을 내리기 전에는 다시 열어보세요.
점검은 이 순서로 하세요
앞 단계에서 막히면 뒤 단계는 볼 필요가 없습니다. 순서 자체가 시간을 아껴줍니다.
- 글을 올릴 도메인의 robots.txt를 연다.
- 내가 알고 싶은 것이 검색 노출인지 학습 활용인지 정하고, 그에 해당하는 봇 이름을 찾는다.
- 차단이면 거기서 판단이 끝난다. 그 채널은 AI 인용을 기대할 자리가 아니라고 보고, 사람 독자용으로 계획을 세운다.
- 열려 있다면 로그아웃 상태에서 공개 URL을 열어 본문이 실제로 보이는지 확인한다.
- 제목이 약속한 질문에 본문이 답하는지 읽는다. 핵심 내용을 이미지 안에만 두지 않는다.
- 확인한 URL, 확인 날짜, 본 규칙, 바꾼 문장을 한 줄씩 기록한다.
6번을 권하는 이유가 있습니다. AI 답변은 같은 질문에도 결과가 흔들립니다. 한 번 안 보였다고 “수집되지 않는다”고 단정할 수 없고, 한 번 보였다고 모든 글에 반복된다고 기대하기도 어렵습니다.기록이 쌓여야 비교가 가능해집니다.
질문 문구와 관찰 시점을 함께 남기시면, 다음 점검에서 무엇이 달라졌는지 판단할 근거가 생깁니다.
정리하면
robots.txt는 점검의 출발점이라기보다, 채널을 고르는 기준입니다.
한 문장으로 줄이면 이렇습니다. 네이버 블로그는 사람에게 읽히기 위해 쓰고, AI에게 읽히고 싶은 글은 내 도메인에 쌓습니다. 둘 다 필요하지만 기대하는 바가 다릅니다.
역할을 이렇게 나누면 “ChatGPT에 반드시 노출될까?”라는 불안 대신, 이번 주에 무엇을 할지가 선명해집니다.
robots.txt를 열었더니 통과였는데도 답변에 안 보인다면, 문은 열렸지만 방에 불이 꺼진 경우일 수 있습니다. 그 다음 층은 따로 정리해뒀습니다 — 챗GPT는 왜 어떤 브랜드만 언급할까? 발견·이해·인용의 3층 구조
이걸 개인이 아니라 팀 단위로 굴리려면 역할과 점검 주기를 먼저 정해야 합니다 — 조직의 AI 역량 극대화를 위한 7단계 전략 로드맵
자주 묻는 질문
Q. 네이버 블로그 글은 ChatGPT에 절대 안 나오나요?
그렇게까지 말할 수는 없습니다. robots.txt는 물리적 차단이 아니라 요청문이고, 사용자가 링크를 직접 붙여넣을 때 쓰이는 봇은 차단 목록에 없습니다. 실제로 제가 2026년 7월에 집계한 AI 답변 인용에서도 blog.naver.com은 44건 잡혔습니다. 다만 그 44건은 모두 한 엔진에서 나왔습니다. 닫힌 것은 “AI가 스스로 찾아오는 길”입니다.
Q. 네이버 블로그의 robots.txt를 제가 바꿀 수 있나요?
바꿀 수 없습니다. robots.txt는 도메인 하나당 파일 하나이고 그 파일은 네이버가 관리합니다. 개인 블로그 경로 뒤에 /robots.txt를 붙여도 파일이 존재하지 않습니다. 규칙을 직접 정하려면 내가 운영하는 도메인이 있어야 합니다.
Q. GPTBot만 허용돼 있으면 ChatGPT 검색에도 노출되나요?
같은 이야기가 아닙니다. OpenAI는 학습용 GPTBot과 검색·답변용 OAI-SearchBot을 구분해 운영하며, 사이트는 둘의 허용 여부를 따로 정할 수 있습니다. 알고 싶은 것이 검색 노출인지 학습 활용인지 먼저 정하고 해당 봇 이름으로 확인하세요.
Q. 제가 쓰는 플랫폼은 어떤지 어떻게 확인하나요?
주소창에 도메인 뒤 /robots.txt를 붙이면 바로 보입니다. 파일이 길면 브라우저 찾기 기능으로 GPTBot이나 OAI-SearchBot을 검색하세요. 해당 봇을 지목한 규칙이 없으면 보통 기본 허용입니다. 플랫폼 정책은 바뀌므로 확인한 날짜를 함께 기록해두시는 편이 좋습니다.
Q. robots.txt가 열려 있으면 인용되나요?
허용은 필요조건이지 충분조건이 아닙니다. 크롤러가 들어와도 서버 응답에 본문이 없거나, 제목이 약속한 질문에 본문이 답하지 않으면 인용할 내용이 없습니다. 문을 연 다음에는 방에 불이 켜져 있는지를 확인해야 합니다.
'생성형 AI' 카테고리의 다른 글
| 챗GPT는 왜 어떤 브랜드만 언급할까? 발견·이해·인용의 3층 구조 (0) | 2026.08.29 |
|---|---|
| 중학생 자녀의 영어 교육 방식 전환: 학원에서 생성형AI 활용으로 (0) | 2025.11.27 |
| 중학생 자녀의 영어 교육 방식 전환: 학원에서 생성형AI 활용으로 (0) | 2025.11.27 |
| 구글 노트북 LM(NotebookLM) 종합 가이드 (7) | 2025.07.24 |
| Veo 3 마케팅 캠페인 실행 가이드 (8) | 2025.07.19 |
