网站优化工作中的第一步是爬取;搜索引擎的蜘蛛等同于用户在爬取网页页面时应用的电脑浏览器。当搜索引擎浏览页面时,缺少对象HTML编码,spider程序流程将接受到的编码储存到初始页面数据库查询中。以便提升爬取和爬取的速率,搜索引擎应用好几个蜘蛛另外爬取。当蜘蛛浏览一切网站时,他们最先浏览网站网站根目录中的robots.txt文件。假如r... ...