Robots.txt 테스트하기
테스트 결과
배포 전에 Robots.txt를 테스트하세요
크롤 규칙이 올바르게 작동하는지 확인하여 중요한 페이지가 검색 엔진에서 실수로 차단되는 것을 방지합니다
robots.txt 파일을 업로드하기 전에 규칙이 예상대로 작동하는지 테스트하는 것이 중요합니다. 하나의 실수로 Google이 전체 사이트나 중요한 섹션에 접근하지 못할 수 있습니다. 이 도구를 사용하면 robots.txt 내용을 붙여넣고 여러 URL을 테스트할 수 있습니다.
왜 Robots.txt를 테스트해야 하나요?
robots.txt 파일은 올바르게 설정하기 어려울 수 있는 와일드카드와 패턴이 포함된 특정 구문을 사용합니다. 테스트를 통해 다양한 사용자 에이전트에 대해 Allow 및 Disallow 규칙이 올바르게 작동하는지 확인할 수 있습니다. 이는 CSS/JS 파일, 전체 디렉토리 또는 사이트맵을 실수로 차단하는 것과 같은 일반적인 실수를 방지합니다.
기능
다중 URL 테스트
robots.txt 규칙에 대해 여러 URL을 한 번에 테스트합니다.
User-Agent 선택
Googlebot, Bingbot 또는 모든 봇(*)과 같은 특정 봇에 대한 규칙을 테스트합니다.
즉시 결과
URL이 허용되었는지 차단되었는지에 대한 즉각적인 피드백을 받습니다.
클라이언트 측
모든 테스트는 브라우저에서 이루어집니다. robots.txt 내용은 어디로도 전송되지 않습니다.
테스트 팁
- 항상 대상으로 하는 특정 사용자 에이전트(예: Googlebot, Bingbot)로 테스트하세요.
- 쿼리 매개변수(?page=2)와 후행 슬래시가 있는 URL과 같은 엣지 케이스를 테스트하세요.
- CSS, JS 및 이미지 파일이 실수로 차단되지 않았는지 확인하세요.
- 사이트맵 URL이 접근 가능한지 테스트하세요.
- 관리자, 로그인 및 비공개 페이지가 올바르게 차단되었는지 확인하세요.
- robots.txt 규칙은 경로에 대해 대소문자를 구분한다는 점을 기억하세요.
자주 묻는 질문
robots.txt 매칭은 어떻게 작동하나요?
Robots.txt는 경로 기반 매칭을 사용합니다. Disallow: /private/는 /private/로 시작하는 모든 URL을 차단합니다. 와일드카드 *는 모든 문자 시퀀스와 일치하며, $는 URL 끝에 매치를 앵커합니다.
Allow가 Disallow보다 우선하나요?
Google의 구현은 더 구체적인 규칙을 우선시합니다. Allow와 Disallow가 모두 일치하면, 더 긴(더 구체적인) 패턴이 우선합니다. 같은 길이라면 Allow가 우선합니다.
robots.txt는 대소문자를 구분하나요?
User-agent 필드는 대소문자를 구분하지 않지만, 경로 매칭(Allow/Disallow)은 대소문자를 구분합니다. Disallow: /Private/는 /private/를 차단하지 않습니다.