robots.txt 생성기
웹사이트용 robots.txt 파일을 생성하고 검증합니다
🎯 빠른 시작 템플릿
기본 허용
모든 봇에게 전체 사이트 접근 허용
일반 웹사이트
일반적인 웹사이트용 설정
엄격한 제한
특정 경로만 허용하는 제한적 설정
쇼핑몰
전자상거래 사이트용 설정
🤖 봇 규칙 설정
⚙️ 추가 설정
봇이 페이지 간 이동할 때 대기할 시간 (선택사항)
📚 robots.txt 가이드
📝기본 지시문
User-agent
규칙을 적용할 봇을 지정
User-agent: *
User-agent: Googlebot
User-agent: Googlebot
Disallow/Allow
접근을 차단하거나 허용할 경로
Disallow: /admin/
Allow: /public/
Allow: /public/
💡모범 사례
- •웹사이트 루트 디렉토리에 robots.txt 파일 업로드
- •사이트맵 URL 포함으로 크롤링 효율성 향상
- •정기적으로 robots.txt 파일 업데이트
- •Google Search Console에서 테스트
⚠️주의사항
- • robots.txt는 법적 구속력이 없으며 권장사항입니다
- • 민감한 정보는 robots.txt에 노출되지 않도록 주의
- • 차단된 페이지도 다른 사이트에서 링크되면 검색 결과에 나타날 수 있습니다