目前常用的鏈接有錨文本鏈接、超鏈接、純文本鏈接和圖像鏈接。如何被爬蟲抓取是一個程序，自動提取網(wǎng)頁，如百度蜘蛛。要使你的網(wǎng)站包含更多的頁面，你必須首先讓爬蟲抓取網(wǎng)頁。如果你的網(wǎng)站頁面定期更新，爬蟲會更頻繁地訪問該頁面，而高質(zhì)量的內(nèi)容是爬蟲喜歡抓取的，尤其是原始內(nèi)容。蜘蛛很快就會爬上網(wǎng)站，網(wǎng)站和頁面權(quán)重，這一定是比較重要的。

做SEO優(yōu)化，想讓自己更多的頁面被收錄，盡量吸引蜘蛛來搶。如果你不能抓取所有的頁面，蜘蛛要做的就是抓取盡可能多的重要頁面。哪些頁面是人為的重要？

有幾個合理的因素

1、 網(wǎng)站頁面及權(quán)重

質(zhì)量高、資質(zhì)老的網(wǎng)站被認(rèn)為權(quán)重高，而這個網(wǎng)站上爬行頁面的深度也會比較高，所以會收錄更多的頁面。

2、 頁面更新

蜘蛛每次爬行時都會存儲頁面數(shù)據(jù)。第二次蜘蛛頁面更新是沒有必要的，如果沒有必要掌握首次頁面更新。如果頁面內(nèi)容更新頻繁，蜘蛛會更頻繁地訪問頁面，而頁面上的新連接自然會被蜘蛛更快地跟蹤以抓取新頁面。

3、 導(dǎo)入鏈接

無論是外部鏈接，還是同一網(wǎng)站的內(nèi)部鏈接，都要被蜘蛛抓取，必須有導(dǎo)入鏈接進(jìn)入頁面，否則蜘蛛就沒有機(jī)會知道頁面的存在。高質(zhì)量的導(dǎo)入鏈接通常會增加頁面上導(dǎo)出鏈接的爬行深度。

4、 單擊“與主頁的距離”

一般來說，大部分主頁的權(quán)重是很高的。因此，與主頁的點擊距離越近，頁面的權(quán)重就越高，蜘蛛爬行的幾率也就越大。

5、 URL結(jié)構(gòu)

頁面權(quán)重是包含在迭代計算中才知道的，那么前面說的高頁面權(quán)重有利于抓取，搜索引擎蜘蛛在抓取之前如何知道頁面權(quán)重呢？所以蜘蛛預(yù)測，除了鏈接、與主頁的距離、歷史數(shù)據(jù)等因素外，短網(wǎng)址、淺網(wǎng)址也可能直觀地認(rèn)為站點的權(quán)重相對較高。

6、 吸引蜘蛛的方法：

這些鏈接會導(dǎo)致蜘蛛訪問網(wǎng)頁。只要不遵循這些鏈接，它們就會導(dǎo)致蜘蛛訪問和轉(zhuǎn)移權(quán)重。錨文本鏈接是引導(dǎo)蜘蛛的好方式，這有利于關(guān)鍵字排名，比如關(guān)鍵字錨文本中的友情鏈接。