mingle-website/robots.txt
2025-09-14 00:24:42 +09:00

30 lines
538 B
Plaintext

User-agent: *
Allow: /
# 네이버봇 특별 설정
User-agent: Yeti
Allow: /
Crawl-delay: 1
# 중요한 페이지 우선순위
Sitemap: https://minglestudio.co.kr/sitemap.xml
# 크롤링 제외할 파일/디렉토리
Disallow: /js/
Disallow: /css/
Disallow: /*.js$
Disallow: /*.css$
Disallow: /components/
# 이미지 크롤링 허용 (포트폴리오 중요)
Allow: /Studio_Image/
Allow: /mingle*
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.png$
Allow: /*.webp$
Allow: /*.gif$
# 검색엔진별 크롤링 속도 조절
Crawl-delay: 1