예시 1: 검색은 열고 학습은 막기
- 검색
- 허용
- 사용자 요청
- 허용
- 모델 학습
- 차단
OAI-SearchBot과 Claude-SearchBot은 열고 GPTBot, ClaudeBot과 Google-Extended에는 Disallow: /를 써요.
예시 2: 관리자 경로는 모두 막기
허용한 봇에도 /admin/과 /private/를 Disallow로 추가해요. 다만 실제 비공개 처리는 로그인과 서버 권한으로 해야 해요.
예시 3: 기존 규칙 검사
robots.txt를 붙여넣고 GPTBot이 /news/article에 접근할 수 있는지 확인해요. 가장 구체적으로 일치하는 규칙을 보여줘요.