致力于温州各地区中小企业seo优化推广服务

置顶推荐

最近更新

百度有匿名蜘蛛吗?如何识别?
百度蜘蛛已出现多类,不单有网页,包括视频、联盟、搜藏等都有。
一些第三方平台(非搜索引擎)也有蜘蛛爬行网站进行数据分析,个别工具甚至模拟百度蜘蛛(Agent伪装)。

相信有匿名蜘蛛的SEO人员,大概是出于考虑到搜索引擎官方针对黑帽手法的反作弊措施。
例如,存在匿名蜘蛛,会对桥页(Doorway Page)和隐页(Cloaked Page)的判定有极大帮助。

理论上来说,百度官方没必要使用匿名蜘蛛,但是SEO行业不少人员深信存在匿名蜘蛛。
百度的人工审核机制比较显然,这也可能是原因之一。事实上各家搜索引擎都有人工干预,合情合理。
...
2012-3-28 Comments:0蜘蛛
robots.txt 如何根据某个单词禁止爬虫访问特定URL?

noindex 是告诉搜索引擎不要收录这个页面(百度还不支持)
nofollow是告诉搜索引擎不要爬行页面的链接也不要给权重。

给页面的部分链接添加nofollow标签,不能起到减少链接分散权重的办法,增加页面内其他权重。因为Google(百度不知道)是根据页面的总权重和链接总数量(包括加了nofollow的链接)来计算每个链接的导出的权重,添加nofollow,只能屏蔽这部分的导出,而无法增加其他链接的权重。
但是为什么还要添加nofollow呢?这是因为页面权重的问题,例如,很多网站的联系我们,所有的页面都有链接,这样的页面的权重一定会高过单一内容页,会抢其他页面的权重。而这样的页面却没有搜索的价值,所以使用nofollow标签。
...

2012-2-21 Comments:0蜘蛛robots.txt
禁止蜘蛛收录能否解决不规范网址引起的权重流失?

并没有明确的官方声音来说明这一个问题,禁用掉的url,其获得的权重,究竟是直接丢弃,还是被平均赋予到未被禁用的url中,从系统实现的角度,后者是代价更高计算量更大的操作,因此,指望通过禁用收录的方式显然存在一定风险性
最优的方案还是设计好整个站点的结构以后,通过ref nofollow ,以及301跳转来微调,这是很多站点首选的方案。
 

2012-2-8 Comments:0蜘蛛