30 lines
538 B
Plaintext
30 lines
538 B
Plaintext
User-agent: *
|
|
Allow: /
|
|
|
|
# 네이버봇 특별 설정
|
|
User-agent: Yeti
|
|
Allow: /
|
|
Crawl-delay: 1
|
|
|
|
# 중요한 페이지 우선순위
|
|
Sitemap: https://minglestudio.co.kr/sitemap.xml
|
|
|
|
# 크롤링 제외할 파일/디렉토리
|
|
Disallow: /js/
|
|
Disallow: /css/
|
|
Disallow: /*.js$
|
|
Disallow: /*.css$
|
|
Disallow: /components/
|
|
|
|
# 이미지 크롤링 허용 (포트폴리오 중요)
|
|
Allow: /Studio_Image/
|
|
Allow: /mingle*
|
|
Allow: /*.jpg$
|
|
Allow: /*.jpeg$
|
|
Allow: /*.png$
|
|
Allow: /*.webp$
|
|
Allow: /*.gif$
|
|
|
|
# 검색엔진별 크롤링 속도 조절
|
|
Crawl-delay: 1
|