我们在优化网站时,有很多设置是不利于蜘蛛抓取的,具体有哪些呢?下面小编为大家总结的一些设置方法,仅供参考:登录设置有些网站会设置注册账号的服务,登录之后才能看到网站的内容,这种设置对于蜘蛛来说不友好,蜘蛛它也不会注册登录,自然就抓取不到了。动态URL所谓动态URL就是在链接中“?”同时以aspx、asp、jsp、perl、php、cgi为... ...