mingle-website/robots.txt
서버 f0e5bdc399 Block: ClaudeBot 크롤러 차단
- robots.txt에 ClaudeBot, anthropic-ai 차단 추가
- 서버 부하 감소 목적 (봇 트래픽 97% 이상 차지)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
2026-02-17 03:36:58 +09:00

13 lines
194 B
Plaintext

# AI 크롤러 차단
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
# 기타 모든 봇 허용
User-agent: *
Allow: /
Sitemap: https://minglestudio.co.kr/sitemap.xml