laravel怎么读搭建的网站robots协议怎么写

来源：蜘蛛抓取(WebSpider) 时间：2018-09-11 06:17 标签： laravel怎么读

本文主要给大家介绍了关于Laravel ; root //favicon.ico , 不存在此文件的话，那么会导致404，同时会记录到 access_log 和 error_log 中。这种记录到日志文件中是没有必要性的，因此可以取消。

robots.txt 通常是搜索引擎蜘蛛（爬虫）会去爬取的文件，在行业规范中，蜘蛛去爬取一个网站的时候会首先爬取该文件来获知网站中哪些目录文件不需要爬取，在 SEO 中 robots.txt 的正确配置是对 SEO 非常有效果的。该文件也确实没有必要记录到日志中，而且大部分网站并不存在 robots.txt 文件。

以上这些配置是可以用在大部分的网站上的，不止是 Nginx 服务器，相信 Apache 服务器也有相关的配置，如果你正在用其他web服务器，以上类似的配置也建议使用。

以上就是这篇文章的全部内容，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

root //favicon.ico , 不存在此文件的话，那么会导致404，同时会记录到 access_log 和 error_log 中。这种记录到日志文件中是没有必要性的，因此可以取消。

robots.txt 通常是搜索引擎蜘蛛（爬虫）会去爬取的文件，在行业规范中，蜘蛛去爬取一个网站的时候会首先爬取该文件来获知网站中哪些目录文件不需要爬取，在 SEO 中 robots.txt 的正确配置是对 SEO 非常有效果的。该文件也确实没有必要记录到日志中，而且大部分网站并不存在 robots.txt

以上这些配置是可以用在大部分的网站上的，不止是 Nginx 服务器，相信 Apache 服务器也有相关的配置，如果你正在用其他web服务器，以上类似的配置也建议使用。

我要回帖

更多关于 laravel怎么读 的文章

 

随机推荐