HBase本身利用自動復制機制保證Hbase本身存儲的高可靠性。我們會做一些數(shù)據(jù)挖掘工作，除了采用MapReduce技術之外，還采用數(shù)據(jù)倉庫技術，針對海量數(shù)據(jù)進行高性能查詢和分析工作。中國聯(lián)通已經(jīng)構建了一個全國集中的一級架構海量數(shù)據(jù)存儲和查詢系統(tǒng)，第一，是一級架構，全國所有用戶所有上網(wǎng)記錄數(shù)據(jù)都放北京數(shù)據(jù)中心里，在國內電信行業(yè)當中也是首創(chuàng)的方式。

    另外一個方式，首先將開源Hadoop、Hbase技術應用商用電信服務系統(tǒng)中來，開源的軟件架構基本上沒有商用系統(tǒng)的，但是這次是商用系統(tǒng)，系統(tǒng)的構成，包括數(shù)據(jù)采集、數(shù)據(jù)入庫、數(shù)據(jù)存儲、數(shù)據(jù)查詢和數(shù)據(jù)分析技術，基本技術采用Hadoop,目前上網(wǎng)記錄數(shù)據(jù)存儲一般不小于30分鐘，30分鐘之前的上網(wǎng)記錄現(xiàn)在可以通過我們系統(tǒng)查詢到。

    在實際使用過程中，聯(lián)通發(fā)現(xiàn)約10分鐘的記錄可以查到，用HBase處理這么海量的數(shù)據(jù)時候，入庫速度非常非常迅速，另外查詢速度也非常非常迅速。另外系統(tǒng)的存儲不少于6個月原始上網(wǎng)記錄能力，中間的統(tǒng)計報表會保存不少于5年，現(xiàn)在的數(shù)據(jù)查詢速度，查詢一個用戶上網(wǎng)記錄，比如有幾萬條記錄，在幾千億條記錄當中檢索的時間小于一秒鐘，當然，這個時間不包括查詢頁面的時間。

    這是上網(wǎng)記錄詳單內容，存儲了很多用戶上網(wǎng)記錄信息，隨著系統(tǒng)的發(fā)展，為了數(shù)據(jù)挖掘的需要，聯(lián)通會進一步提取更多信息存到上網(wǎng)記錄系統(tǒng)當中來。

    Hadoop三節(jié)點 控制數(shù)據(jù)

    整個系統(tǒng)部署情況是這樣的，我們采用普通PC服務器部署這個系統(tǒng)，Hadoop本身有三個節(jié)點，一個是數(shù)據(jù)存儲節(jié)點，現(xiàn)在有178個數(shù)據(jù)存儲節(jié)點，每個數(shù)據(jù)存儲節(jié)點有14T的容量，集群的監(jiān)控節(jié)點有一臺，入庫服務節(jié)點24臺，Web查詢應用服務節(jié)點20臺，在同一個機架上的數(shù)據(jù)交換采用千兆交換機。這是查詢系統(tǒng)的界面，用戶詳細信息都可以通過這個系統(tǒng)查詢出來。

    在目前情況下，現(xiàn)在已經(jīng)部署完成了4個省份，北京、黑龍江、浙江、重慶，四個省份所有用戶上網(wǎng)記錄都可以上來，每天入庫條數(shù)超過42億條用戶上網(wǎng)數(shù)據(jù)記錄，每天入庫數(shù)據(jù)量超過1.2T,在這種數(shù)據(jù)量的情況下，現(xiàn)在已經(jīng)保存了幾個月的上網(wǎng)記錄數(shù)據(jù)，在這種情況下，上網(wǎng)記錄數(shù)據(jù)保存在一張表當中，保存4個省的數(shù)據(jù)，一個月可能超過1200億條的數(shù)據(jù)，在這種情況下，在1200億條數(shù)據(jù)當中檢索一個用戶數(shù)據(jù)會達到不小于一秒，目前1200億條只用到15個數(shù)據(jù)節(jié)點，隨著178個數(shù)據(jù)節(jié)點上線之后，保存全國31省的數(shù)據(jù)以及進行快速入庫、查詢和檢索我們認為都沒有問題。

    現(xiàn)在預估，31省上線之后，每個月用戶上網(wǎng)記錄超過8千億條，我們系統(tǒng)明年6月份才可能考慮到下一期擴容工程，在這種情況下，我們相信每個月會有1萬億條數(shù)據(jù)，保存6個月用戶數(shù)據(jù)，原始數(shù)據(jù)量會超過6萬億條，目前每條上網(wǎng)記錄基本上在300個字節(jié)，隨著我們把更多的字段加入進來之后，可能平均每條用戶上網(wǎng)記錄的長度還會增加，可能達到400字節(jié)，對整個集群的要求會更高。

    聯(lián)通研究院處長王志軍表示，聯(lián)通第一次采用了開源技術，在此之前，在電信行業(yè)當中比較少見。聯(lián)通采用了Hadoop、HBase,這里面還有用戶管理員信息等等。目前，在客服使用當中感覺也是非常非常好的，更重要的是利用這個系統(tǒng)可以做深入的數(shù)據(jù)挖掘工作。

    中國聯(lián)通在查詢用戶上網(wǎng)記錄之前會征得用戶的同意，有可能通過口服開頭同意，如果客服后臺查詢的話，我們可能會通知用戶有人要查詢其上網(wǎng)記錄，在安全方面聯(lián)通做了考慮。