robots.txt 설정 방법 티스토리 블로그 노출 올리는 2025 실전 방법

오늘은 블로그의 검색 노출을 좌우하는 robots.txt 설정 방법을 티스토리 환경에 맞춰 쉽게 풀어드립니다. ‘설정 한 번’이 아니라 ‘매달 점검하는 루틴’으로 만들면 색인 안정화와 유입 증가는 자연스럽게 따라옵니다.

“In God we trust; all others must bring data.” — W. E. 데밍
크롤링·색인 데이터로 무엇을 허용하고 무엇을 막을지 결정하면, 불필요한 소모 없이 핵심 페이지의 노출을 앞당길 수 있습니다.

---

robots.txt 설정 방법 핵심 개요

robots.txt 설정 방법의 목적은 ① 크롤러가 접근하면 안 되는 경로를 명확히 차단하고, ② 색인되어야 할 문서는 안전하게 열어두는 것입니다. 규칙은 도메인 루트(/robots.txt)에 위치하며, 기본 문법은 User-agent, Allow, Disallow, Sitemap 네 가지로 시작하면 충분합니다.

• 초보 실수: ‘중복페이지를 막아야지’ 하며 본문 경로까지 차단 → 노출 급감.
• 올바른 접근: 관리·검색결과·필터·파라미터처럼 품질이 낮거나 중복 위험이 큰 경로만 조심스럽게 제한.

함께 읽으면 좋은 글: “처음부터 제대로 하는 티스토리 SEO 설정 — 한 번 세팅으로 체감 유입!”

티스토리 SEO 설정 2025 최신 체크리스트로 노출을 바꾸는 한 끗

 

---

티스토리에서 robots.txt는 어떻게 동작하나? (중요 포인트)

• 기본 제공: 티스토리는 기본 robots를 제공합니다. 일반적으로 글·카테고리 등 주요 문서는 허용되고, 관리·검색 등은 적절히 제외됩니다.
• 직접 편집: 기본 환경에서는 /robots.txt를 직접 업로드/편집하기 어렵습니다. 다만 커스텀 도메인 + 프록시/리버스 프록시 환경(예: Cloudflare 규칙, 서버 프록시)을 사용하면 별도 전달이 가능합니다. 이 경우 충돌을 피하려면 기본 동작을 고려해 신중히 적용하세요.
• 공개/비공개: 글 단위 공개 설정, 검색로봇 허용 옵션을 함께 점검하면 불필요한 차단을 줄일 수 있습니다.

함께 읽으면 좋은 글: “색인 누수 줄이는 리디렉션 오류 해결 — 체인·루프 한 번에 정리!”

구글서치콘솔 리디렉션 오류 원인 해결 티스토리 블로그 순위 떨어지기 전에 잡는 방법

 

---

robots.txt 설정 방법 기본 문법 (복붙 가이드)

# 1) 모든 크롤러에 대한 기본 규칙
User-agent: *
Allow: /
# 불필요한 내부 검색/필터 페이지 예시 (서비스에 맞춰 조정)
Disallow: /search
Disallow: /admin

# 2) 사이트맵 위치 지정 (필수 권장)
Sitemap: https://example.com/sitemap.xml

팁

• Allow/Disallow는 경로 기준(정규식 아님, 접두 일치).
• #는 주석.
• Sitemap 라인은 크롤링 힌트를 주며 색인 속도에 도움.

함께 읽으면 좋은 글: “5분 완성 사이트맵 제출 방법 — 새 글 색인 속도 높이기!”

사이트맵 제출 방법 티스토리 구글네이버 2025 한 번에 끝내기

 

---

검색엔진·봇별 고려 사항 (국내/해외)

구글( Googlebot )

• 대부분 User-agent: *로 충분하지만, 이미지·동영상 색인이 중요하면 리소스 차단을 피하세요.

User-agent: Googlebot-Image
Allow: /

네이버( Naver Yeti )

• 국내 유입 비중이 높다면 Naverbot, Yeti의 접근을 과도하게 막지 않습니다.

User-agent: Yeti
Allow: /

광고·렌더링 봇(예: AdsBot-Google)

• 광고 품질 진단이나 렌더링 최적화가 중요하다면 해당 봇의 접근을 허용하세요.

---

티스토리 추천 패턴 (안전형 / 적극형)

안전형(기본 권장)

User-agent: *
Allow: /
Disallow: /search
Sitemap: https://example.com/sitemap.xml

• 핵심 콘텐츠는 모두 열고, 가치 낮은 내부 검색만 제한.

적극형(관리·필터 경로가 뚜렷한 경우)

User-agent: *
Allow: /
Disallow: /admin
Disallow: /tag?*
Disallow: /?page=*
Sitemap: https://example.com/sitemap.xml

• 파라미터 기반 페이지가 중복·얕은 콘텐츠를 많이 만들 때 선택. (서비스 구조를 정확히 파악한 뒤 적용)

---

차단 실수 7가지 (색인 누수 주의)

1. 글 본문 상위 폴더를 통째로 Disallow
2. 이미지·CSS·JS 리소스 차단으로 렌더링 실패
3. Sitemap 누락
4. noindex 메타와 robots 차단을 혼용해 이중 제약
5. 다국어·카테고리 구조에서 경로/파라미터 오판
6. 테스트 중 규칙을 바꾸고 되돌리기 누락
7. 프록시에서 /robots.txt를 별도로 제공하며 충돌 발생

함께 읽으면 좋은 글: “로딩 1초 단축이 순위에 미치는 영향 — 블로그 속도 최적화 핵심 7가지”

블로그 속도 최적화 2025 Core Web Vitals로 티스토리 체감 속도 2배 올리기

 

---

점검·운영 루틴 (매월 10분)

• Search Console → 페이지/색인 보고서로 ‘크롤링됨 — 현재 색인되지 않음’ 유형을 모니터링.
• 새 글 발행 후 URL 검사 → 색인 요청.
• 카테고리/태그 구조를 주기적으로 정리해 ‘얕은 페이지’ 비중 축소.
• 프록시/보안 제품을 사용한다면 /robots.txt 응답을 실제 도메인으로 점검.

---

FAQ — 자주 묻는 질문

Q. 티스토리에서 robots.txt를 꼭 수정해야 하나요?
A. 기본 설정으로도 충분한 경우가 많습니다. 다만 파라미터 중복이나 내부 검색 노출이 문제라면 조정 가치가 있습니다.

Q. Disallow 하면 완전히 안 보이나요?
A. 크롤링 제한이지, 색인 제거 명령은 아닙니다. 이미 색인된 페이지는 Search Console에서 ‘URL 제거 도구’나 noindex 메타를 병행하세요.

---

요약 표 — robots.txt 디렉티브와 의미

디렉티브	의미	예시	비고
User-agent	대상 크롤러 지정	User-agent: *	특정 봇 이름 지정 가능
Allow	특정 경로 허용	Allow: /images/	Disallow보다 구체 경로가 우선
Disallow	특정 경로 차단	Disallow: /search	접두 기준, 정규식 아님
Sitemap	사이트맵 위치	Sitemap: https://example.com/sitemap.xml	다중 지정 가능

---

마무리

결국 robots.txt 설정 방법의 핵심은 ‘막을 것’과 ‘열어둘 것’을 데이터 기반으로 구분하는 일입니다. 오늘 가이드대로 안전형부터 시작해 블로그 구조에 맞춰 조정하면, 색인 안정화와 CTR 개선이 함께 따라옵니다. 궁금한 사례가 있다면 댓글로 남겨 주세요. 다음 글에서는 파라미터·필터 페이지 최적화를 다뤄보겠습니다.

---

면책조항

본 글은 일반적인 정보 제공을 목적으로 하며, 환경(도메인/호스팅/스킨/프록시)에 따라 결과가 달라질 수 있습니다. 중요한 변경은 테스트 환경에서 검증 후 적용하시고, 트래픽이 적은 시간대에 진행하시길 권장합니다.

---