Google的蜘蛛程序Spider对网页数据的抓取是通过读取网页文本内容,并顺着页面中的链接层层深入,从而获得对全站内容的抓取.有一些网页制作技术如框架结构(frame:帧),Flash等生成的网页内容是蜘蛛程序比较排斥,不愿意抓取的,因此内嵌于其中的文字或链接往往被蜘蛛忽略了,从而影响到对全站重要数据的抓取.

搜索引擎蜘蛛Spider模拟器工具及应用介绍_seo优化_长沙网络营销_长沙网络推广_长沙seo优化_狼蚁

来自：www.168986.cn/seo/20130212/548.html