很多人在做網(wǎng)站的時(shí)候都會(huì)去刻意追求收錄,但是根本就沒(méi)有注重網(wǎng)站的質(zhì)量,以及網(wǎng)站的哪些頁(yè)面需要收錄,哪些頁(yè)面不需要收錄都不知道,這些最基礎(chǔ)的點(diǎn)都沒(méi)有弄明白就去操作整個(gè)網(wǎng)站。這樣在整個(gè)網(wǎng)站的優(yōu)化過(guò)程中,我們會(huì)浪費(fèi)掉大量的時(shí)間和精力。
蜘蛛在抓取一個(gè)網(wǎng)站的之前,都是經(jīng)過(guò)計(jì)算過(guò)一個(gè)網(wǎng)站有多少頁(yè)面需要進(jìn)行抓取,那么這個(gè)資源肯定是非常珍貴有限的。如果那這個(gè)價(jià)值發(fā)揮到最大化,就要把一些不用收錄的頁(yè)面進(jìn)行屏蔽,合理的分配資源。
在參加關(guān)鍵詞排名的過(guò)程中,都是以單個(gè)頁(yè)面來(lái)也進(jìn)行排序。那么這個(gè)問(wèn)題就很顯而易見了,也就是說(shuō)對(duì)于我們網(wǎng)站有參與關(guān)鍵詞排名的頁(yè)面,以及能夠促進(jìn)關(guān)鍵詞排名的頁(yè)面都是有需要被收錄的。
既然明白這個(gè)道理,那么網(wǎng)站上面出現(xiàn)的關(guān)于我們,聯(lián)系我們,在線留言等等這些頁(yè)面都是不需要被搜索引擎抓取的。(除非你想要來(lái)做關(guān)于我們、聯(lián)系我們、在線留言這些關(guān)鍵詞來(lái)參加排名)
還有一個(gè)大家經(jīng)常忽略的一個(gè)問(wèn)題,就是網(wǎng)站路徑結(jié)構(gòu)的問(wèn)題,比如說(shuō)m.qqzdz.com與m.qqzdz.com/index.html這兩個(gè)路徑都是同一個(gè)頁(yè)面,比如:同一篇文章在不同的幾個(gè)欄目下,也會(huì)造成一個(gè)頁(yè)面有多個(gè)不同的路徑。這樣的不同路徑相同頁(yè)面都是需要進(jìn)行301跳轉(zhuǎn)或者robots屏蔽。
屏蔽這些頁(yè)面的做法就非常簡(jiǎn)單了,在robots文件中添加一段代碼屏蔽蜘蛛抓取的代碼就可以了Disallow: /about_us.html (about_us.html就是你要屏蔽頁(yè)面的路徑)
暫無(wú)觀點(diǎn)或提問(wèn)! |