91Linux - txt
type: channel
link: https://91linux.org/tag/txt/
items: 正确设置robots.txt提升网站安全

正确设置robots.txt提升网站安全
type: item
date: 2020-04-13T15:17:49+08:00
description: 前言网站设置好robots.txt十分地重要，会很大程度地影响搜索引擎对网站的爬取，因此，设置一个好的robots.txt成为必须的要求，有些小站就有因为没有设置好robots.txt而导致google搜索引擎抓不到本站内容。设置步骤其实设置robots.txt也不需要那么麻烦了，只要重要的后台不要被抓取就够了typecho的后台是/admin/，所以，理论上只要不抓取这个目录就好了本站的robots.txt，可以参考下面的代码：User-agent: * Disallow: /config.inc.php Disallow: /admin/ Disallow: /var/ Disallow: /install/ Disallow: /install.php Sitemap: https://www.91linux.org/baidu_sitemap.xml 禁止/admin/是最基础的，保护网站安全而/var/含一些typecho关键运行文件，但一般不含有资源文件，因此可以放心禁用/install/是网站的安装文件，一般安装完都会删掉这个目录，所以还是禁止了吧最后一行sitemap是一个文件，可以帮助搜索引擎更好地抓取网站