정책의 목적을 먼저 정하세요

이 빌더는 검색용, 사용자 요청용, 학습·모델 관련 토큰을 나눠 선택합니다. 모든 AI 봇을 하나의 목적이라고 가정하지 않고 공개된 설명을 기준으로 분류합니다. 토큰과 각 회사의 정책은 바뀔 수 있으므로 판정 기준 페이지의 공식 출처를 다시 확인해주세요.

기존 파일을 통째로 덮어쓰지 마세요

생성 결과는 초안입니다. 기존 robots.txt에 검색엔진 규칙, 비공개 경로 안내나 Sitemap 줄이 있는지 먼저 확인하고 필요한 그룹을 병합하세요. 같은 user-agent 그룹을 여러 번 작성하거나 더 넓은 규칙과 충돌하게 만들면 예상과 다른 결과가 생길 수 있습니다.

생성 후 경로를 검사하세요

예를 들어 GPTBot을 차단하는 정책에서는 /news/article을 해당 봇으로 검사해 차단 판정을 확인할 수 있습니다. 경로 앞의 /를 포함하고 쿼리나 별표 규칙도 확인하세요. 검사 결과는 이 도구가 구현한 규칙 해석이며 실제 봇이 방문하거나 정책을 준수했다는 증거는 아닙니다.

robots.txt는 보안이나 삭제 도구가 아니에요

robots.txt는 크롤러에 전달하는 요청이며 인증을 대신하지 않습니다. 차단했다고 이미 수집된 자료가 삭제되거나 URL이 검색 결과에서 반드시 사라지지는 않습니다. 비공개 자료는 접근 제어로 보호하고, 게시 후 도메인 루트의 /robots.txt 실제 응답과 운영 로그를 따로 확인하세요.

직접 확인해보세요

도구 사용하기 · 입력 예시와 결과 · 계산·판정 기준과 출처

안내에서 다루지 않은 상황이나 오류는 문의 페이지로 알려주세요.