- 相關(guān)推薦
SEO新手提問：什么是搜索引擎蜘蛛?
搜索引擎蜘蛛其實(shí)就是搜索引擎的抓取程序，叫法也不統(tǒng)一，有叫機(jī)器人的，也有叫爬行器的，還有叫爬蟲的等等。
因?yàn)樗阉饕娴淖ト》绞绞峭ㄟ^鏈接來實(shí)現(xiàn)的，一個(gè)個(gè)的鏈接連在一起，整合起來就好像是一張巨大的蜘蛛網(wǎng)，所以被稱大家通俗的稱之為蜘蛛。
蜘蛛的工作方式是從已知的網(wǎng)頁出發(fā)，通過網(wǎng)頁中的鏈接地址尋找到其它的網(wǎng)頁，然后又通過這個(gè)網(wǎng)頁上面的鏈接找到其它的網(wǎng)頁，這樣子一直循環(huán)下去。
蜘蛛雖然工作的很勤勞，但是互聯(lián)網(wǎng)上的網(wǎng)頁太多了，對(duì)于搜索引擎來說要將所有的網(wǎng)頁抓取到幾乎是不可能的，從目前公布的數(shù)據(jù)來開，搜索引擎能夠抓取到全部網(wǎng)頁的百分之四十左右，這已經(jīng)很了不起了。
在網(wǎng)頁抓取的時(shí)候，蜘蛛一般會(huì)采用兩種策略，分別是：深度優(yōu)先和廣度優(yōu)先。深度優(yōu)先是指蜘蛛會(huì)從起始頁開始往下跟蹤，處理完一條線路之后返回到起始頁，再繼續(xù)跟蹤。廣度優(yōu)先是指蜘蛛會(huì)先抓取到網(wǎng)站中的所有鏈接，然后再選擇其中的一個(gè)鏈接網(wǎng)頁，再繼續(xù)抓取這個(gè)頁面上的全部鏈接。
我們一起來看看目前主流搜索引擎蜘蛛的名字吧。
百度蜘蛛：baiduspider
google蜘蛛： googlebot
yahoo蜘蛛：slurp
soso蜘蛛：Sosospider
搜狗蜘蛛：Sogou web spider
lexa蜘蛛：ia_archiver
必應(yīng)蜘蛛：msnbot
有道蜘蛛：YodaoBot和OutfoxBot
【SEO新手提問：什么是搜索引擎蜘蛛?】相關(guān)文章：
SEO新手怎么高效學(xué)習(xí)08-13
SEO新手入門的書籍09-22
SEO培訓(xùn)機(jī)構(gòu)新手應(yīng)該如何選擇10-03
SEO新手交換外鏈實(shí)用方法07-16
幾個(gè)主流搜索引擎蜘蛛的名稱06-29
SEO網(wǎng)站搜索引擎優(yōu)化的關(guān)鍵技術(shù)09-13
新手如何做移動(dòng)端SEO網(wǎng)站優(yōu)化08-29
seo綜合查詢是什么08-14