Google本周二(2005.7.19)宣布任命李開復(fù)擔(dān)任其籌建中的中國研發(fā)中心總監(jiān) 李開復(fù)離職前最近一段時(shí)間專注于新技術(shù)研發(fā)。負(fù)責(zé)“MSN網(wǎng)絡(luò)搜索應(yīng)用總體開發(fā)”
微軟不得不使用違反競(jìng)爭(zhēng)協(xié)議,狀告GOOGLE和李開復(fù),以此來拖慢GOOGLE的發(fā)展步伐。但GOOGLE明知違法,也要繼續(xù)這次挖角,顯然,挖角的損失比起加快自己發(fā)展速度來說還是要?jiǎng)澦愫芏唷?/P>
這是分屬網(wǎng)絡(luò)時(shí)代和PC時(shí)代的兩個(gè)公司的對(duì)決,明顯,GOOGLE后來居上。
在技術(shù)上的四大搜索技術(shù)將是今后兩公司的競(jìng)爭(zhēng)重點(diǎn)。 傳統(tǒng)的網(wǎng)絡(luò)搜索、桌面搜索、博客服務(wù)、電子郵件
且不管因此引起的微軟和Google之間的官司如何,可見網(wǎng)絡(luò)搜索已逐漸成為新?lián)屖值膽?yīng)用范疇。我想有興趣的程序員,可以學(xué)習(xí)一下有關(guān)搜索引擎的知識(shí),這必將對(duì)你的職業(yè)人生產(chǎn)生不小影響。
在此簡(jiǎn)要的說一下搜索引擎的基本步驟(主要說自動(dòng)的) 1.編輯 一般通過Robot(即爬蟲,網(wǎng)絡(luò)蜘蛛)到各個(gè)網(wǎng)站采集數(shù)據(jù) 2.檢索 一般根據(jù)關(guān)鍵詞建立索引以便快速查詢 3.分類 一般通過Open Directory Project(開放式目錄管理) 4.排序 要保證前100個(gè)滿足98%用戶的需求,其中分詞很重要
其中的難點(diǎn)如下(個(gè)人拙見) 1.公正性 及時(shí)更新很重要,目前主要通過Robot和ODP,這樣容易被SEO(搜索引擎優(yōu)化)鉆空子,故需要獨(dú)有的技術(shù),如使用PageRank 2.關(guān)鍵詞 一般分自動(dòng)和詞表切分,為了更高的索引效率低建議使用詞表切分,但詞表維護(hù)成本非常高,目前已有很多人研究,如 www.rainsts.net/article.asp?id=48 關(guān)于分詞的概念:http://www.microsoft.com/china/rdcenter/info/result/chinese.asp 3.分布式 主要是為大數(shù)據(jù)量做準(zhǔn)備,模型很重要,有點(diǎn)像分公司各自運(yùn)作,各個(gè)公司負(fù)責(zé)幾個(gè)區(qū)域的市場(chǎng),查詢時(shí)又互相內(nèi)部交流 4.過濾器 將類似的重復(fù)的以及無關(guān)痛癢的過濾掉,才能更有效的“前100個(gè)滿足98%”,畢竟客戶搜索的更關(guān)心的是內(nèi)容,但也要有個(gè)開關(guān),類似Google做法
對(duì)于李開復(fù)加入搜索行業(yè)可能帶來的影響(個(gè)人預(yù)測(cè)) 1.人機(jī)交互 使查詢更為人性化,有點(diǎn)像以前Chinaren那孫悟空搜索,但應(yīng)該更出色 2.媒體搜索 雖然MPEG7已經(jīng)出了很久,但實(shí)際上真正用于媒體搜索畢竟少數(shù)
說了這么多,如何入門很關(guān)鍵:建議到
http://sourceforge.net/projects/dotlucene 下載dotLucene學(xué)習(xí) Lucene原來是java寫的,現(xiàn)在成了apache的開源項(xiàng)目。 地址: http://jakarta.apache.org/lucene/ Lucene的貢獻(xiàn)者Doug Cutting是一位資深全文索引/檢索專家,曾經(jīng)是V-Twin搜索引擎(Apple的Copland操作系統(tǒng)的成就之一)的主要開發(fā)者,目標(biāo)是為各種中小型應(yīng)用程序加入全文檢索功能。
車東 www.chedong.com ,也在 sourceforge 上開設(shè)了自己的開源項(xiàng)目,叫weblucence,支持中日韓語。
www.Teein.com 開站也就一年不到,就于2005年5月獲得IDG風(fēng)險(xiǎn)投資,其中文論壇搜索引擎就是以dotLucene做底層索引庫的
參見資料 http://ceo.icxo.com/htmlnews/2005/07/20/635019.htm http://www.chedong.com/tech/lucene.html http://blog.joycode.com/roy/archive/2004/12/07/40571.aspx http://m.95time.cn/bbs/NewsDetail.asp?id=2140319
出處:藍(lán)色理想
責(zé)任編輯:藍(lán)色
|