robots.txt 생성기
검색 엔진 크롤러를 위한 robots.txt 파일을 쉽게 생성하세요
빠른 템플릿
기본 설정
Sitemap URL 자동 생성에 사용됩니다
크롤러 요청 간격 (선택사항)
크롤러 규칙
사용자 정의 지시문 (선택사항)
생성된 robots.txt
User-agent: *
robots.txt 사용 가이드
웹사이트 루트 디렉토리에 robots.txt 파일을 업로드하세요
User-agent: * 는 모든 검색엔진을 의미합니다
Disallow: / 는 전체 사이트 차단을 의미합니다
중요한 페이지는 Allow로 명시적으로 허용하세요
🛍️ 쇼핑몰 robots.txt 최적화 팁
- • 관리자 페이지(/admin/)는 반드시 차단하세요
- • 장바구니, 결제 페이지는 크롤링 차단 권장
- • 상품 페이지는 반드시 허용하세요
- • 검색 결과 페이지는 차단하는 것이 좋습니다
- • sitemap.xml 위치를 명시하세요