Robots Exclusion Standard1 SEO와 트래픽 관리를 위해 robots.txt 활용하기 robots.txt에 의해 설정된 규칙들은 SEO(검색엔진 최적화)와 홈페이지/블로그의 트래픽에 영향을 미칩니다. 개인적인 홈페이지와 블로그는 대부분 Uset-agent: * Allow: / 를 사용할 것입니다. 그렇지만 티스토리 블로그에는 공통적으로 아래의 규칙이 입력되어 있습니다. User-agent: * Disallow: /owner Disallow: /manage Disallow: /admin Disallow: /oldadmin Disallow: /search Disallow: /m/search Disallow: /m/admin Disallow: /like Allow: / User-agent: Mediapartners-Google Allow: / User-agent: bingbot Crawl-de.. 2019. 8. 3. 이전 1 다음 728x90