07年以前的阿里巴巴，經(jīng)過(guò)幾年的努力，已經(jīng)把SEO做到了一個(gè)很高的境界。當(dāng)時(shí)專業(yè) SEO團(tuán)隊(duì)的人員是做技術(shù)出身，所以大家大量借助技術(shù)手段來(lái)分析和解決SEO當(dāng)中出現(xiàn)的很多問(wèn)題，取得了很好的效果。因?yàn)樯婕暗浆F(xiàn)有的業(yè)務(wù)，只能說(shuō)幾個(gè)不那么敏感的例子。

Google 網(wǎng)站管理員工具剛出來(lái)的時(shí)候，我們網(wǎng)站有很多頻道都驗(yàn)證不了那個(gè)google需要你上傳的文件。工程師那邊幫助查了很多問(wèn)題，以為是什么跳轉(zhuǎn)之類的沒(méi)有做好。查了很多資料，也沒(méi)有找到特征吻合的相關(guān)解決辦法。而meta驗(yàn)證的方法因?yàn)榧夹g(shù)上有一點(diǎn)問(wèn)題做不了。所以我們SEO團(tuán)隊(duì)就幫工程師去找問(wèn)題。我同事瞿波不一會(huì)就找出問(wèn)題出在什么地方了，原來(lái)問(wèn)題出在泛解析上。

具體的過(guò)程是這樣的：

用了泛解析的url，無(wú)論你把url組合成一個(gè)什么樣子，都會(huì)有一個(gè)正常的頁(yè)面給你的。比如：如果你網(wǎng)站的根目錄下用了泛解析，http://www.xxxxxx.com/a.html 這個(gè)url是你網(wǎng)站本來(lái)正常的url。那么你隨意的輸入一個(gè)本來(lái)不存在的url 如 http://www.xxxxxx.com/adasdsadw.html 甚至 http://www.xxxxxx.com/@####￥￥.html ，網(wǎng)站CMS返回的都是一個(gè)正常的頁(yè)面。

這在一個(gè)大型網(wǎng)站中，很多地方出于業(yè)務(wù)需要，都是這么處理的。但是這樣做，在“網(wǎng)站管理員工具”的驗(yàn)證方面就一定不能通過(guò)。為什么呢?

因?yàn)檫@樣誰(shuí)都可以把這個(gè)網(wǎng)站加到自己的網(wǎng)站管理員工具中。而實(shí)際上這樣的情況是不會(huì)發(fā)生的，因?yàn)間oogle不光會(huì)驗(yàn)證你上傳的文件存不存在，還會(huì)驗(yàn)證一個(gè)不應(yīng)該存在的文件是不是不存在。google驗(yàn)證完你上傳的文件后，接著會(huì)模擬一個(gè)叫做 google404errorpage.html 的頁(yè)面是不是不存在。google覺(jué)得你網(wǎng)站根目錄下恰好存在一個(gè)名叫g(shù)oogle404errorpage.html的幾率是零，所以如果檢測(cè)下來(lái)發(fā)現(xiàn)你這個(gè)頁(yè)面也存在的話，那就不能驗(yàn)證通過(guò)。google這個(gè)時(shí)候已經(jīng)知道你這是因?yàn)榉航馕鰧?dǎo)致的緣故。出于保護(hù)你的網(wǎng)站，google不會(huì)讓這個(gè)驗(yàn)證通過(guò)。

上面的這個(gè)分析過(guò)程，在公開(kāi)的渠道里是找不到的?，F(xiàn)在在《google網(wǎng)站質(zhì)量指南》里也只是讓你給不存在的頁(yè)面返回 4xx 狀態(tài)碼而已。http://www.google.com/support/webmasters/bin/answer.py?hl=cn&answer=35638,而且這個(gè)規(guī)則也是更 近加進(jìn)去的。以前，根本找不到相關(guān)的資料來(lái)參考。那我的同事為什么一下子就找到問(wèn)題在哪里了呢?那是因?yàn)榉?wù)器的log日志里一定會(huì)記錄google驗(yàn)證的這個(gè)過(guò)程的，把相關(guān)目錄下、某個(gè)時(shí)間段的log日志調(diào)出來(lái)查看就可以看到了。

如果沒(méi)有LOG日志分析，誰(shuí)能想得到還有這么一個(gè)過(guò)程在里面呢? 至今，還有很多網(wǎng)站驗(yàn)證不了這個(gè)文件的，現(xiàn)在就可以看看有沒(méi)有這個(gè)泛解析的問(wèn)題，或者去分析log日志看看。還有一次，網(wǎng)站改版后，網(wǎng)站流量驟然下降了。我們知道影響SEO流量的因素有很多，那到底是什么原因?qū)е铝髁肯陆的?。我以前的主管BEN通過(guò)自己的分析，覺(jué)得是url出了問(wèn)題。

當(dāng)時(shí)的url是這樣的： http://www.alibaba.com/bin/buyoffer/mp3.html，我想很多人都不會(huì)覺(jué)得這個(gè)url有什么異常。但是在當(dāng)時(shí)，這個(gè)url有一個(gè)致命問(wèn)題的。

在02年google的爬蟲還不是很成熟的時(shí)候，為了避免陷入死循環(huán)，爬蟲不光會(huì)對(duì)那些有多余參數(shù)的url抓取量減少，還會(huì)對(duì)某些特定的目錄不抓取的。這樣的目錄中，就有 /cgi-bin/ 以及類似的 /bin/ 這樣的目錄。學(xué)過(guò)CGI語(yǔ)言的人都知道，/cgi-bin/這個(gè)目錄下是放置cgi程序的地方，這種目錄下進(jìn)行抓取是沒(méi)什么意義的。/bin/這個(gè)目錄也是其他很多系統(tǒng)或者語(yǔ)言默認(rèn)的文件夾名稱，這些目錄下都不存在google應(yīng)該抓取的頁(yè)面，所以搜索引擎就屏蔽了這樣的目錄抓取。而偏偏我們定義的文件夾名稱就是/bin/，google是不會(huì)抓取這個(gè)目錄的。

之后，把這個(gè)目錄名稱改為/trade/，流量馬上就恢復(fù)了。如今，百度也在robots文件的用法中，就拿/cgi-bin/這個(gè)目錄做了例舉。 http://www.baidu.com/search/robots.html，我相信這樣的問(wèn)題即使放到現(xiàn)在，也沒(méi)有人敢懷疑是google本身出了問(wèn)題。有些人還會(huì)從上百個(gè)因素里找一個(gè)看似很合理的原因，導(dǎo)致真正的原因被掩蓋了。但是ben通過(guò)技術(shù)分析并實(shí)踐，卻得出了讓人信服的結(jié)論。類似的事情，我后來(lái)也碰到過(guò)好幾回，因?yàn)橛兴麄兊慕?jīng)驗(yàn)在鼓舞我，使我也做了一些讓別人不能理解，但是卻給網(wǎng)站帶來(lái)很大流量的事情。

技術(shù)分析在和競(jìng)爭(zhēng)對(duì)手搶流量的時(shí)候，也是競(jìng)爭(zhēng)力之一。舉一個(gè)不那么恰當(dāng)?shù)睦樱?/strong>

sitemap.xml剛出來(lái)的時(shí)候。我們自己制作好了sitemap.xml文件，但是畢竟這么大型的sitemap文件誰(shuí)也沒(méi)有做過(guò)，特別是里面權(quán)重的設(shè)置在一個(gè)大型網(wǎng)站來(lái)說(shuō)是很有講究的。所以我們就想?yún)⒖家粋€(gè)國(guó)外主要競(jìng)爭(zhēng)對(duì)手的文件。一開(kāi)始通過(guò)一個(gè)方法拿到了他們的文件地址，但是怎么也打不開(kāi)那個(gè)鏈接，老是返回404錯(cuò)誤。通過(guò)國(guó)外的代理服務(wù)器去訪問(wèn)也是這樣。更 后，通過(guò)模擬google爬蟲才能正常的訪問(wèn)這個(gè)文件。 原來(lái)同樣非常重視SEO的這個(gè)對(duì)手，為了讓自己的sitemap.xml文件不被其他人看到，只有對(duì)那種user-agent是google爬蟲的訪問(wèn)才顯示這個(gè)文件，由于瀏覽器的user-agent是很容易判斷出來(lái)的，就攔截掉了瀏覽器的訪問(wèn)。

《怎么樣去學(xué)SEO》一文，講述了學(xué)SEO要從了解網(wǎng)站和搜索引擎相關(guān)的技術(shù)開(kāi)始。而這篇文章就是讓大家看看具體是如何應(yīng)用的。阿里巴巴更 早做SEO的那批人，早在國(guó)內(nèi)還不知道SEO是什么的時(shí)候就已經(jīng)涉及到了諸多技術(shù)問(wèn)題，并馬上取得壓倒性的優(yōu)勢(shì)。雖然現(xiàn)在他們因?yàn)槟承┰蚨紱](méi)有在做SEO了，但是他們給網(wǎng)站的貢獻(xiàn)是非常大的。我個(gè)人的觀點(diǎn): 從某方面來(lái)說(shuō)，是SEO成就了alibaba。