隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和Web 2.0 技術(shù)的廣泛推廣使用，社交網(wǎng)絡(luò)、Blog、Wiki、Twitter、Webmail、免費(fèi)空間等的出現(xiàn)，不僅給人們帶來(lái)了生活方式、生產(chǎn)方式上很多的便捷與好處，也促使著URL過(guò)濾技術(shù)的進(jìn)化。URL過(guò)濾不僅有利于保障企業(yè)的生產(chǎn)效率，防止網(wǎng)絡(luò)沉迷與濫用，而且是網(wǎng)絡(luò)安全架構(gòu)的一個(gè)重要組成部分。傳統(tǒng)的URL 過(guò)濾技術(shù)再也無(wú)法跟上當(dāng)今web互聯(lián)網(wǎng)數(shù)據(jù)的龐大規(guī)模、復(fù)雜性以及急速的增長(zhǎng)速度。Anchiva的數(shù)據(jù)云URL過(guò)濾技術(shù)應(yīng)需而生，面臨日益多樣化的web數(shù)據(jù)不僅最大程度的滿足了實(shí)時(shí)分類的需求，而且真正做到了與語(yǔ)言、文化、地域無(wú)關(guān)，只與具體用戶實(shí)際使用請(qǐng)求相關(guān)的URL過(guò)濾，將用戶的需求和利益放在第一位，同時(shí)每一個(gè)用戶也不是完全孤立的，通過(guò)云數(shù)據(jù)中心有效的結(jié)合在一起，共享互動(dòng)成果，符合人類文明的進(jìn)步，符合時(shí)代的進(jìn)步。

當(dāng)今，互聯(lián)網(wǎng)給我們帶來(lái)了生活方式、生產(chǎn)方式上很多的便利與快捷。龐大的網(wǎng)絡(luò)信息資源，使人們通過(guò)瀏覽器就能便捷的獲取到生活或生產(chǎn)過(guò)程中所需要的信息。但是，過(guò)分或不適當(dāng)?shù)木W(wǎng)絡(luò)資源訪問(wèn)不僅給企業(yè)帶來(lái)了生產(chǎn)力和網(wǎng)絡(luò)帶寬的損失，還嚴(yán)重威脅著企業(yè)的網(wǎng)絡(luò)安全架構(gòu)和信息系統(tǒng)，甚至網(wǎng)絡(luò)上的不適當(dāng)或非法內(nèi)容還極大危害著企業(yè)員工個(gè)人的身心健康甚至給企業(yè)帶來(lái)法律問(wèn)題。

面臨以上種種問(wèn)題，該如何解決？全部關(guān)閉網(wǎng)絡(luò)的大門不符合現(xiàn)代人類文明的發(fā)展與進(jìn)步，也不利于合理商業(yè)業(yè)務(wù)的開展。單純依靠使用者自我約束的網(wǎng)絡(luò)使用制度也已經(jīng)無(wú)法執(zhí)行。于是，誕生了專門針對(duì)URL進(jìn)行過(guò)濾的技術(shù)，以此達(dá)到對(duì)員工上網(wǎng)瀏覽內(nèi)容的控制與管理。

20世紀(jì)90年代中期，URL過(guò)濾解決方案依靠企業(yè)內(nèi)部IT人員人工建立、更新與編輯站點(diǎn)黑白名單。這一做法的缺點(diǎn)是，所有分類由一個(gè)或少數(shù)幾個(gè)人自由決定，對(duì)于這種資源密集型而且缺乏客觀性的站點(diǎn)分類方法，不僅會(huì)使許多被認(rèn)可的網(wǎng)站被封鎖或被禁止的網(wǎng)站允許通過(guò)，而且隨著web站點(diǎn)的快速增長(zhǎng)與相關(guān)技術(shù)的日益復(fù)雜，這種方案很難實(shí)現(xiàn)客觀、細(xì)粒度的URL分類，顯然不能成為企業(yè)或單位有效的URL過(guò)濾方案。

20世紀(jì)90年代末，出現(xiàn)了專門對(duì)URL進(jìn)行收集、分類的廠商。URL過(guò)濾技術(shù)開始采用本地?cái)?shù)據(jù)庫(kù)分類引擎。URL及其內(nèi)容在根據(jù)預(yù)先定義的類別下通過(guò)分類引擎進(jìn)行相應(yīng)的關(guān)鍵字查找分析與分類（如賭博、色情及網(wǎng)上購(gòu)物等），分類好的URL存儲(chǔ)在一個(gè)集中的主數(shù)據(jù)庫(kù)中，然后通過(guò)更新復(fù)制一份副本移交到客戶本地?cái)?shù)據(jù)庫(kù)中。這種URL過(guò)濾方案的缺點(diǎn)是，隨著網(wǎng)頁(yè)數(shù)量的激增，由于一刀切的關(guān)鍵字分類技術(shù)和本地分類數(shù)據(jù)庫(kù)的限制，無(wú)法實(shí)現(xiàn)更高、更準(zhǔn)確的覆蓋率和更廣泛的URL分類。

2000年初，URL過(guò)濾解決方案試圖采用啟發(fā)式內(nèi)容分析的方法，這種動(dòng)態(tài)的分類技術(shù)，通過(guò)智能分析網(wǎng)站標(biāo)題和網(wǎng)頁(yè)html主體中相關(guān)內(nèi)容的概率來(lái)確定URL類別。從理論上講，相比前兩類URL分類方案，這是一種很好的分類方法，然而在實(shí)際中它本身卻存在問(wèn)題，很多基于啟發(fā)式的Web內(nèi)容分析結(jié)果沒(méi)有相關(guān)的配套技術(shù)實(shí)時(shí)地發(fā)送給終端用戶，而且采用的仍然是傳統(tǒng)的本地?cái)?shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。但是當(dāng)今web2.0時(shí)代，web數(shù)據(jù)是一個(gè)不定數(shù)據(jù)且日益多樣化的集合體，而每個(gè)用戶的需求卻獨(dú)特且具體，基于本地URL數(shù)據(jù)庫(kù)的過(guò)濾技術(shù)，只能過(guò)濾存儲(chǔ)本地用戶需要的數(shù)據(jù)，不能存儲(chǔ)所有相關(guān)及最新數(shù)據(jù)，以執(zhí)行快速和準(zhǔn)確的監(jiān)測(cè)，因此這種傳統(tǒng)的URL過(guò)濾技術(shù)也無(wú)法應(yīng)對(duì)高度復(fù)雜且快速發(fā)展壯大的web2.0網(wǎng)絡(luò)。

據(jù)Google調(diào)查，互聯(lián)網(wǎng)上的網(wǎng)頁(yè)數(shù)量以每天一億的數(shù)量急速增長(zhǎng)。以上三種URL 分類方法已經(jīng)不能夠準(zhǔn)確有效的收集、分類所有的URL類別。數(shù)據(jù)存儲(chǔ)和處理要求也已經(jīng)遠(yuǎn)遠(yuǎn)超出了本地?cái)?shù)據(jù)庫(kù)能力。于是在2009年，業(yè)界出現(xiàn)了數(shù)據(jù)云的URL過(guò)濾技術(shù)，這類廠商有Commtouch、Anchiva等。這種數(shù)據(jù)云URL過(guò)濾機(jī)制，基于云技術(shù)的URL收集、分類處理及發(fā)放策略，并不依賴于本地?cái)?shù)據(jù)庫(kù)有限的資源進(jìn)行分析與檢測(cè)，也不依賴于數(shù)據(jù)庫(kù)更新最新的URL分類，利用的是專門的分類服務(wù)器群，根據(jù)實(shí)際網(wǎng)絡(luò)的使用與普及方式對(duì)網(wǎng)頁(yè)內(nèi)容及語(yǔ)義進(jìn)行全面分析后的分類。與傳統(tǒng)的云不同的是，真正做到了云的客戶端自動(dòng)主動(dòng)地去云的服務(wù)器端獲取所需的數(shù)據(jù)，而不是單純的基于云服務(wù)端的定時(shí)推送更新方法。下面我們將借助Anchiva的數(shù)據(jù)云URL過(guò)濾機(jī)制對(duì)數(shù)據(jù)云URL過(guò)濾技術(shù)進(jìn)行簡(jiǎn)單的介紹。

Anchiva（安啟華）數(shù)據(jù)云的URL分析過(guò)濾技術(shù)由兩部分組成：部署在企業(yè)網(wǎng)絡(luò)邊界處的Anchiva web安全網(wǎng)關(guān)（SWG）和Anchiva基于云的URL分類中心。網(wǎng)關(guān)設(shè)備和URL分類中心實(shí)時(shí)通信獲取最新的URL分類。不僅打破了傳統(tǒng)本地?cái)?shù)據(jù)庫(kù)的限制，而且與其他基于云的技術(shù)不同的是Anchiva web安全網(wǎng)關(guān)中具有URL緩存技術(shù)，這個(gè)本地的緩存為每一個(gè)獨(dú)立的用戶存儲(chǔ)最為相關(guān)的URL，這些設(shè)備本地的URL類別，有效地確保了URL匹配的最佳性能，并且采用的是一種本地緩存自動(dòng)學(xué)習(xí)的機(jī)制，隨著企業(yè)用戶使用時(shí)間的增長(zhǎng)，這個(gè)本地緩存的URL庫(kù)會(huì)更加的貼近每一個(gè)用戶的實(shí)際需求，將能給客戶更加精準(zhǔn)的URL過(guò)濾。