搜索引擎正在面臨的四大挑戰(zhàn)——之?dāng)?shù)據(jù)存儲(chǔ)及快速索引

二、海量數(shù)據(jù)存儲(chǔ)

一些大型網(wǎng)站單是一個(gè)網(wǎng)站就有百萬千萬個(gè)頁面，衡陽SEO可以想象網(wǎng)上所有網(wǎng)站的頁面加起來是一個(gè)什么數(shù)據(jù)量.搜索引擎蜘蛛抓取頁面后，還必須有效存儲(chǔ)這些數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)必須合理，具備極高的擴(kuò)展性，寫入及訪問速度要求也很高。

除了頁面數(shù)據(jù)，搜索引擎還需要存儲(chǔ)頁面之間的鏈接關(guān)系及大量歷史數(shù)據(jù)，這樣的數(shù)據(jù)量是用戶無法想象的，據(jù)說Google有幾十個(gè)數(shù)據(jù)中心，上百萬臺(tái)服務(wù)器.這樣大規(guī)模的數(shù)據(jù)存儲(chǔ)和訪問必然存在很多技術(shù)挑戰(zhàn)。

我們經(jīng)常在搜索結(jié)果中看到，排名會(huì)沒有明顯原因地上下波動(dòng)，甚至可能刷新一下頁面，就看到不同的排名，有的時(shí)候網(wǎng)站數(shù)據(jù)也可能丟失。這些都可能與大規(guī)模數(shù)據(jù)存儲(chǔ)的技術(shù)難題有關(guān)。

三、索引處理快速有效，具可擴(kuò)展性

搜索引擎將頁面數(shù)據(jù)抓取和存儲(chǔ)后，還要進(jìn)行索引處理，包括鏈接關(guān)系的計(jì)算、正向索引、倒排索引等.由于數(shù)據(jù)庫中頁面數(shù)量大，進(jìn)行PR之類的迭代計(jì)算也是耗時(shí)費(fèi)力的。要想及時(shí)提供相關(guān)又及時(shí)的搜索結(jié)果，僅僅抓取沒有用，還必須進(jìn)行大量索引計(jì)算。由于隨時(shí)都有新數(shù)據(jù)、新頁面加入，因此索引處理也要具備很好的擴(kuò)展性。