索引頁(yè)作為網(wǎng)站重要組成部分，它的存在避免了網(wǎng)頁(yè)變的過長(zhǎng)而導(dǎo)致搜索和閱讀產(chǎn)生困難，但是不合理的索引會(huì)給搜索引擎的Spider造成困惑，那么該如何設(shè)置一個(gè)合理的索引頁(yè)呢。下面由騏秀科技(廣州網(wǎng)站建設(shè))來做個(gè)分析：

　　一、背景

　　Spider位于搜索引擎數(shù)據(jù)流的最上游，負(fù)責(zé)將互聯(lián)網(wǎng)上的資源采集到本地，提供給后續(xù)檢索使用，是搜索引擎的最主要數(shù)據(jù)來源之一。spider系統(tǒng)的目標(biāo)就是發(fā)現(xiàn)并抓取互聯(lián)網(wǎng)中一切有價(jià)值的網(wǎng)頁(yè)，為達(dá)到這個(gè)目標(biāo)，首先就是發(fā)現(xiàn)有價(jià)值網(wǎng)頁(yè)的鏈接，當(dāng)前spider有多種鏈接發(fā)現(xiàn)機(jī)制來盡量快而全的發(fā)現(xiàn)資源鏈接，本文主要描述其中一種針對(duì)特定索引頁(yè)的鏈接補(bǔ)全機(jī)制，并給出對(duì)這種特定類型的索引頁(yè)面的建議處理規(guī)范用于優(yōu)化收錄效果。

　　當(dāng)前大多數(shù)互聯(lián)網(wǎng)網(wǎng)站以索引頁(yè)和翻頁(yè)的形式來組織網(wǎng)站資源，當(dāng)有新資源增加時(shí)，老資源往后推移到翻頁(yè)系列中。

　　如下圖所示：

　　圖表1

　　http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml

　　圖2為18小時(shí)后該網(wǎng)頁(yè)翻頁(yè)系列的第四頁(yè)的內(nèi)容，在這段時(shí)間內(nèi)新增了三頁(yè)多的資源，圖1中紅色矩陣圈到的資源在18個(gè)小時(shí)后已經(jīng)往后有序推移到第4頁(yè)的紅色方塊處。

　　圖表2 18小時(shí)后第四頁(yè)

　　http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml

　　對(duì)spider來說，這種特定類型的索引頁(yè)是資源鏈接發(fā)現(xiàn)的一種有效渠道，但是由于spider是定期檢查這些網(wǎng)頁(yè)來獲得新增的資源鏈接，檢查的周期同資源鏈接發(fā)布的周期不可避免會(huì)有不同(spider會(huì)盡量探測(cè)網(wǎng)頁(yè)的發(fā)布周期，以合理的頻率來檢查網(wǎng)頁(yè))，周期不同的時(shí)候，資源鏈接很有可能就被推到翻頁(yè)序列中，所以spider需要對(duì)這種特殊類型的翻頁(yè)系列作翻頁(yè)補(bǔ)全，從而保證收錄資源的完全。

　　二、主要思路

　　本文主要討論這種資源按發(fā)布時(shí)間有序排布的網(wǎng)頁(yè)，即新發(fā)布的資源排布在翻頁(yè)第1頁(yè)(或翻頁(yè)最后一頁(yè))，老的資源往后(或者往前)有序推移的索引頁(yè)的補(bǔ)全機(jī)制。主要思路是將整個(gè)翻頁(yè)系列的網(wǎng)頁(yè)看成一個(gè)整體，綜合判定它們的抓取狀態(tài)，通過記錄每次抓取網(wǎng)頁(yè)發(fā)現(xiàn)的資源鏈接，然后將此次發(fā)現(xiàn)的資源鏈接與歷史上發(fā)現(xiàn)的資源鏈接作比較，如果有交集，說明該次抓取發(fā)現(xiàn)了所有的新增資源;否則，說明該次抓取并未發(fā)現(xiàn)所有的新增資源，需要繼續(xù)抓取下一頁(yè)甚至下幾頁(yè)來發(fā)現(xiàn)所有的新增資源。

　　2.1 資源鏈接是否按照時(shí)間排序

　　判斷資源是否按發(fā)布時(shí)間排布是這類頁(yè)面的一個(gè)必要條件，那么如何判斷資源是否按發(fā)布時(shí)間排布呢?如上面圖1所示，有些頁(yè)面中每個(gè)資源鏈接后面跟隨著對(duì)應(yīng)的發(fā)布時(shí)間，通過資源鏈接對(duì)應(yīng)的時(shí)間集合，判斷時(shí)間集合是否按大到小或小到大排序，如果是的話，則說明網(wǎng)頁(yè)中的資源是按發(fā)布時(shí)間有序排布，反之亦然。圖1中資源從上到下對(duì)應(yīng)的時(shí)間是越來越小的，即是資源按發(fā)布時(shí)間有序的。

　　還有一類網(wǎng)頁(yè)，如下面圖3所示，網(wǎng)頁(yè)內(nèi)容中有多種排序方式，如按銷量排序，按價(jià)格排序，如評(píng)論數(shù)排序，按上架時(shí)間排序。通過識(shí)別和提取當(dāng)前的排序方式，然后判斷當(dāng)前的排序方式是否為按時(shí)間排序，如果是，則說明網(wǎng)頁(yè)中的資源是按發(fā)布時(shí)間有序排布，反之亦然。圖3中的排序方式是按上架時(shí)間排序，屬于時(shí)間排序方式，所以該網(wǎng)頁(yè)發(fā)布的資源是按發(fā)布時(shí)間有序的。

　　另外也會(huì)根據(jù)資源鏈接抓回后提取的發(fā)布時(shí)間綜合判斷。

　　圖表3 多種排序方式的索引頁(yè)

　　2.2 補(bǔ)全機(jī)制

　　對(duì)于按發(fā)布時(shí)間有序排布在索引頁(yè)系列的資源鏈接，如何保證新發(fā)布的資源都被收錄呢?如上述所說，在18個(gè)小時(shí)后，圖1中的資源鏈接已經(jīng)往后有序推移到翻頁(yè)第4頁(yè)了，如此看，這段時(shí)間內(nèi)新增了翻頁(yè)第2，3，4頁(yè)索引的資源鏈接，那么，spider就需要完全的收錄這些新增的資源;

　　首先，當(dāng)spider抓取18小時(shí)后的第1頁(yè)時(shí)，將新發(fā)現(xiàn)的資源鏈接集合，與上一次18小時(shí)前第1頁(yè)索引頁(yè)調(diào)度記錄的資源鏈接集合作比較，會(huì)發(fā)現(xiàn)兩次調(diào)度發(fā)現(xiàn)的資源鏈接沒有交集，所以就可能存在漏鏈。進(jìn)而需要繼續(xù)發(fā)起第2頁(yè)的調(diào)度，第2頁(yè)發(fā)現(xiàn)的資源鏈接集合與之仍然沒有交集，所以還可能存在漏鏈，繼續(xù)發(fā)起第3頁(yè)，第4頁(yè)的調(diào)度，最終如圖2所示，紅框中的鏈接與上一次索引頁(yè)調(diào)度記錄的資源鏈接有交集，因此可以斷定已經(jīng)補(bǔ)全了這段時(shí)間內(nèi)新增的資源，從而結(jié)束翻頁(yè)系列的調(diào)度，并保證了該翻頁(yè)系列的所有鏈接的補(bǔ)全，從而提升搜索產(chǎn)品的收錄效果。

　　2.3 翻頁(yè)條的識(shí)別和翻頁(yè)條對(duì)應(yīng)的鏈接序列區(qū)塊的識(shí)別

　　為了達(dá)到上面的效果，除了需要識(shí)別翻頁(yè)系列的排序方式是不是按照時(shí)間排序，還需要識(shí)別索引頁(yè)中的翻頁(yè)條和其對(duì)應(yīng)的鏈接區(qū)塊。

　　因?yàn)闆]有翻頁(yè)條的識(shí)別，spider系統(tǒng)就不可能把這個(gè)翻頁(yè)序列的所有鏈接綁定起來，整體考慮它們的狀態(tài)，那么調(diào)度抓取的結(jié)果就是隨機(jī)的，從而不能保證補(bǔ)全效果，當(dāng)前通過網(wǎng)頁(yè)中的翻頁(yè)的一系列特征，通過機(jī)器學(xué)習(xí)的方法來識(shí)別網(wǎng)頁(yè)中的翻頁(yè)區(qū)塊和翻頁(yè)深度，以及上一頁(yè)，下一頁(yè)的鏈接，從而為上述補(bǔ)全機(jī)制提供基本數(shù)據(jù)。

　　另外一方面，即使有了翻頁(yè)條的識(shí)別，沒有對(duì)應(yīng)鏈接區(qū)塊的識(shí)別，上述補(bǔ)全機(jī)制還是不能工作，因?yàn)樯鲜鰴C(jī)制需要對(duì)比發(fā)現(xiàn)的鏈接的集合來判定終止條件，所以，也需要識(shí)別翻頁(yè)條對(duì)應(yīng)的鏈接區(qū)塊，從而提供翻頁(yè)終止條件。

　　特殊情況下，一個(gè)網(wǎng)頁(yè)可能包含多個(gè)翻頁(yè)條，這種情況更需要進(jìn)行翻頁(yè)條和鏈接區(qū)塊的對(duì)應(yīng)。

　　三、建議的方法和標(biāo)準(zhǔn)

　　當(dāng)前百度spider系統(tǒng)對(duì)網(wǎng)頁(yè)的類型，網(wǎng)頁(yè)中翻頁(yè)條的位置，翻頁(yè)條對(duì)應(yīng)的索引列表，以及列表是否按照時(shí)間排序都會(huì)做相應(yīng)的判斷，并根據(jù)實(shí)際的情況進(jìn)行處理，但是機(jī)器自動(dòng)的判斷方法畢竟不能做到100%的識(shí)別準(zhǔn)確率，所以如果站長(zhǎng)能夠通過在頁(yè)面中添加一些百度推薦的標(biāo)簽來標(biāo)志相應(yīng)的功能區(qū)域，就可以極大地提高我們識(shí)別的準(zhǔn)確率，從而提高spider系統(tǒng)對(duì)網(wǎng)站資源發(fā)現(xiàn)的即時(shí)性，從而提高網(wǎng)站的收錄效果。