爬虫设置 - 芦苇派



π • 爬虫设置

seo优化

如何给网站加上robots.txt、robots.txt有什么用？

Robots.txt 是存放在站点根目录下的一个纯文本文件。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

 2020年03月07日  2607