Hadoop+HBase+ MapReduce

    對于Hadoop分布式文件系統(tǒng)本身來說，重要的出發(fā)點(diǎn)在于硬件故障是常態(tài)，不是非異常的狀態(tài)，我們可以摒棄采用IBM小型機(jī)方案，Hadoop中數(shù)據(jù)可以自動(dòng)復(fù)制，一份數(shù)據(jù)可以復(fù)制成三份，第一份在一臺服務(wù)器上，第二份數(shù)據(jù)在另外一臺機(jī)架的另外一臺服務(wù)器上，第三份數(shù)據(jù)可能在另外一臺機(jī)架的另外一臺服務(wù)器上，作為分布式文件系統(tǒng)，每次請求寫入的磁盤和服務(wù)器物理地點(diǎn)可能不一樣，可以帶來高并發(fā)的讀寫請求。

    MapReduce框架分成很多數(shù)據(jù)級，最后再合并處理。HBase分布式數(shù)據(jù)庫是分布式存儲系統(tǒng)，主要特點(diǎn)在正它是四維存儲系統(tǒng)，傳統(tǒng)的數(shù)據(jù)庫是二維表的結(jié)構(gòu)，有行、有列，對它來說，除了有行之外，有列的概念，在列和行之間又可以存放多個(gè)版本，在這種情況下相當(dāng)于四維表結(jié)構(gòu)，好處在于可以靈活的表格結(jié)構(gòu)，每個(gè)列組里面的列后來都可以隨機(jī)應(yīng)變，我們的采集系統(tǒng)現(xiàn)在在采集一些字段，未來的發(fā)展過程中，為了數(shù)據(jù)挖掘的需要，會(huì)采集更多的字段，方便我們在一個(gè)結(jié)構(gòu)之下進(jìn)行更多信息的存儲以及后續(xù)的處理工作。

    HBase本身利用自動(dòng)復(fù)制機(jī)制保證Hbase本身存儲的高可靠性。我們會(huì)做一些數(shù)據(jù)挖掘工作，除了采用MapReduce技術(shù)之外，還采用數(shù)據(jù)倉庫技術(shù)，針對海量數(shù)據(jù)進(jìn)行高性能查詢和分析工作。中國聯(lián)通已經(jīng)構(gòu)建了一個(gè)全國集中的一級架構(gòu)海量數(shù)據(jù)存儲和查詢系統(tǒng)，第一，是一級架構(gòu)，全國所有用戶所有上網(wǎng)記錄數(shù)據(jù)都放北京數(shù)據(jù)中心里，在國內(nèi)電信行業(yè)當(dāng)中也是首創(chuàng)的方式。

    另外一個(gè)方式，首先將開源Hadoop、Hbase技術(shù)應(yīng)用商用電信服務(wù)系統(tǒng)中來，開源的軟件架構(gòu)基本上沒有商用系統(tǒng)的，但是這次是商用系統(tǒng)，系統(tǒng)的構(gòu)成，包括數(shù)據(jù)采集、數(shù)據(jù)入庫、數(shù)據(jù)存儲、數(shù)據(jù)查詢和數(shù)據(jù)分析技術(shù)，基本技術(shù)采用Hadoop，目前上網(wǎng)記錄數(shù)據(jù)存儲一般不小于30分鐘，30分鐘之前的上網(wǎng)記錄現(xiàn)在可以通過我們系統(tǒng)查詢到。

    在實(shí)際使用過程中，聯(lián)通發(fā)現(xiàn)約10分鐘的記錄可以查到，用HBase處理這么海量的數(shù)據(jù)時(shí)候，入庫速度非常非常迅速，另外查詢速度也非常非常迅速。另外系統(tǒng)的存儲不少于6個(gè)月原始上網(wǎng)記錄能力，中間的統(tǒng)計(jì)報(bào)表會(huì)保存不少于5年，現(xiàn)在的數(shù)據(jù)查詢速度，查詢一個(gè)用戶上網(wǎng)記錄，比如有幾萬條記錄，在幾千億條記錄當(dāng)中檢索的時(shí)間小于一秒鐘，當(dāng)然，這個(gè)時(shí)間不包括查詢頁面的時(shí)間。

    這是上網(wǎng)記錄詳單內(nèi)容，存儲了很多用戶上網(wǎng)記錄信息，隨著系統(tǒng)的發(fā)展，為了數(shù)據(jù)挖掘的需要，聯(lián)通會(huì)進(jìn)一步提取更多信息存到上網(wǎng)記錄系統(tǒng)當(dāng)中來。

    Hadoop三節(jié)點(diǎn) 控制數(shù)據(jù)

    整個(gè)系統(tǒng)部署情況是這樣的，我們采用普通PC服務(wù)器部署這個(gè)系統(tǒng)，Hadoop本身有三個(gè)節(jié)點(diǎn)，一個(gè)是數(shù)據(jù)存儲節(jié)點(diǎn)，現(xiàn)在有178個(gè)數(shù)據(jù)存儲節(jié)點(diǎn)，每個(gè)數(shù)據(jù)存儲節(jié)點(diǎn)有14T的容量，集群的監(jiān)控節(jié)點(diǎn)有一臺，入庫服務(wù)節(jié)點(diǎn)24臺，Web查詢應(yīng)用服務(wù)節(jié)點(diǎn)20臺，在同一個(gè)機(jī)架上的數(shù)據(jù)交換采用千兆交換機(jī)。這是查詢系統(tǒng)的界面，用戶詳細(xì)信息都可以通過這個(gè)系統(tǒng)查詢出來。

    在目前情況下，現(xiàn)在已經(jīng)部署完成了4個(gè)省份，北京、黑龍江、浙江、重慶，四個(gè)省份所有用戶上網(wǎng)記錄都可以上來，每天入庫條數(shù)超過42億條用戶上網(wǎng)數(shù)據(jù)記錄，每天入庫數(shù)據(jù)量超過1.2T，在這種數(shù)據(jù)量的情況下，現(xiàn)在已經(jīng)保存了幾個(gè)月的上網(wǎng)記錄數(shù)據(jù)，在這種情況下，上網(wǎng)記錄數(shù)據(jù)保存在一張表當(dāng)中，保存4個(gè)省的數(shù)據(jù)，一個(gè)月可能超過1200億條的數(shù)據(jù)，在這種情況下，在1200億條數(shù)據(jù)當(dāng)中檢索一個(gè)用戶數(shù)據(jù)會(huì)達(dá)到不小于一秒，目前1200億條只用到15個(gè)數(shù)據(jù)節(jié)點(diǎn)，隨著178個(gè)數(shù)據(jù)節(jié)點(diǎn)上線之后，保存全國31省的數(shù)據(jù)以及進(jìn)行快速入庫、查詢和檢索我們認(rèn)為都沒有問題。

    現(xiàn)在預(yù)估，31省上線之后，每個(gè)月用戶上網(wǎng)記錄超過8千億條，我們系統(tǒng)明年6月份才可能考慮到下一期擴(kuò)容工程，在這種情況下，我們相信每個(gè)月會(huì)有1萬億條數(shù)據(jù)，保存6個(gè)月用戶數(shù)據(jù)，原始數(shù)據(jù)量會(huì)超過6萬億條，目前每條上網(wǎng)記錄基本上在300個(gè)字節(jié)，隨著我們把更多的字段加入進(jìn)來之后，可能平均每條用戶上網(wǎng)記錄的長度還會(huì)增加，可能達(dá)到400字節(jié)，對整個(gè)集群的要求會(huì)更高。

    聯(lián)通研究院處長王志軍表示，聯(lián)通第一次采用了開源技術(shù)，在此之前，在電信行業(yè)當(dāng)中比較少見。聯(lián)通采用了Hadoop、HBase，這里面還有用戶管理員信息等等。目前，在客服使用當(dāng)中感覺也是非常非常好的，更重要的是利用這個(gè)系統(tǒng)可以做深入的數(shù)據(jù)挖掘工作。

    中國聯(lián)通在查詢用戶上網(wǎng)記錄之前會(huì)征得用戶的同意，有可能通過口服開頭同意，如果客服后臺查詢的話，我們可能會(huì)通知用戶有人要查詢其上網(wǎng)記錄，在安全方面聯(lián)通做了考慮。