正确设置robots.txt提升网站安全

前言网站设置好robots.txt十分地重要，会很大程度地影响搜索引擎对网站的爬取，因此，设置一个好的robots.txt成为必须的要求，有些小站就有因为...

  • 博主
  • April 13, 2020