-
采集全球信息，監(jiān)測(cè)世界輿情
什么是大數(shù)據(jù)？
大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。
大數(shù)據(jù)的4個(gè)“V”，或者說特點(diǎn)有四個(gè)層面：第一，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別；第二，數(shù)據(jù)類型繁多。數(shù)據(jù)內(nèi)容涉及網(wǎng)絡(luò)日志、視頻、圖片、地理位置等等各類網(wǎng)絡(luò)信息。第三，價(jià)值密度低，商業(yè)價(jià)值高。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。第四，處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。業(yè)界將其歸納為4個(gè)“V”——Volume，Variety，Value，Velocity。
大數(shù)據(jù)開啟企業(yè)商業(yè)行為新模式
大數(shù)據(jù)時(shí)代來臨首先由數(shù)據(jù)豐富度決定的。社交網(wǎng)絡(luò)興起，大量的UGC(互聯(lián)網(wǎng)術(shù)語，全稱為User Generated Content，即用戶生成內(nèi)容的意思)內(nèi)容、音頻、文本信息、視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)出現(xiàn)了。另外，物聯(lián)網(wǎng)的數(shù)據(jù)量更大，加上移動(dòng)互聯(lián)網(wǎng)能更準(zhǔn)確、更快地收集用戶信息，比如位置、生活信息等數(shù)據(jù)。從數(shù)據(jù)量來說，已進(jìn)入大數(shù)據(jù)時(shí)代。
以往大數(shù)據(jù)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，而提及“大數(shù)據(jù)”，通常是指解決問題的一種方法，即通過收集、整理生活中方方面面的數(shù)據(jù)，并對(duì)其進(jìn)行分析挖掘，進(jìn)而從中獲得有價(jià)值信息，最終衍化出一種新的商業(yè)模式。
例如淘寶現(xiàn)有一種運(yùn)費(fèi)保險(xiǎn)，即淘寶買家退貨時(shí)產(chǎn)生的退貨運(yùn)費(fèi)原本由買家承擔(dān)，如果買家購買了運(yùn)費(fèi)保險(xiǎn)，退貨運(yùn)費(fèi)由保險(xiǎn)公司來承擔(dān)。這種購買的結(jié)果是保險(xiǎn)公司經(jīng)營(yíng)虧損很嚴(yán)重，直接導(dǎo)致它們不愿意再發(fā)展和擴(kuò)大運(yùn)費(fèi)保險(xiǎn)。運(yùn)費(fèi)保險(xiǎn)真的必然虧損嗎？答案是No。
如果以信息數(shù)據(jù)抓取為基礎(chǔ)為運(yùn)費(fèi)險(xiǎn)做一套大數(shù)據(jù)智慧應(yīng)用解決方案，就能很好的解決問題。因?yàn)橥素洶l(fā)生的概率，跟買家的習(xí)慣、賣家的習(xí)慣、商品的品種、商品的價(jià)值、淘寶的促銷活動(dòng)等都有關(guān)系，所以，使用以上種種數(shù)據(jù)，利用數(shù)據(jù)挖掘獲取此類信息，建立退貨發(fā)生的概率模型，植入系統(tǒng)就可以在每一筆交易發(fā)生的時(shí)候，給出不同的保險(xiǎn)費(fèi)率，使保險(xiǎn)費(fèi)的收取，與退貨發(fā)生的概率相匹配，這樣運(yùn)費(fèi)險(xiǎn)就不會(huì)虧損了。
信息數(shù)據(jù)采集決定大數(shù)據(jù)應(yīng)用基礎(chǔ)信源
從大數(shù)據(jù)的概念我們可以知道，大數(shù)據(jù)的數(shù)據(jù)源主要為網(wǎng)絡(luò)日志、視頻、圖片、地理位置等等各類網(wǎng)絡(luò)信息，而這些數(shù)據(jù)的匯集是實(shí)現(xiàn)大數(shù)據(jù)實(shí)施的基礎(chǔ)，所以大數(shù)據(jù)應(yīng)用建設(shè)離不開網(wǎng)絡(luò)信息數(shù)據(jù)采集這一核心環(huán)節(jié)。
不管是政府還是企業(yè)，瀏覽器里的搜索、點(diǎn)擊、網(wǎng)上購物、其他數(shù)據(jù)（比如氣溫、海水鹽度、地震波）、新聞信息、網(wǎng)友留言、網(wǎng)友個(gè)人信息、產(chǎn)品信息、人事信息等等都是大數(shù)據(jù)應(yīng)用的重要目標(biāo)，這些信息數(shù)據(jù)是政府企業(yè)戰(zhàn)略決策的重要依據(jù)。
信息數(shù)據(jù)采集需要考慮其采集量、采集速度和采集面的效果。現(xiàn)在常用的軟件如樂思信息采集系統(tǒng)是功能比較全面的。系統(tǒng)支持的采集面涉及微博、論壇、博客、新聞網(wǎng)、電商網(wǎng)站、分類網(wǎng)站等各種網(wǎng)上可見頁面；而采集類型囊括文本、數(shù)據(jù)、URL、圖片、視頻、音頻等各種呈現(xiàn)類型；信息數(shù)據(jù)采集速度可以達(dá)到秒及以上。互聯(lián)網(wǎng)是大數(shù)據(jù)信息的主要來源，能夠采集什么樣的信息、采集到多少信息以及哪些類型的信息，著直接影響著大數(shù)據(jù)應(yīng)用功能的最終發(fā)揮效果。
深圳樂思輿情監(jiān)測(cè)：m.skyseo.cn轉(zhuǎn)載請(qǐng)注明，謝謝！