近年來有幾個(gè)趨勢(shì)對(duì)企業(yè)的影響就像大數(shù)據(jù)那般顯著。各類規(guī)模和形態(tài)的公司在近幾年都陸陸續(xù)續(xù)以極大的熱情步入大數(shù)據(jù)時(shí)代,因?yàn)樗麄兌家庾R(shí)到了大數(shù)據(jù)對(duì)他們的公司會(huì)有怎樣的益處。從開拓創(chuàng)新新的盈利方式到提高企業(yè)的生產(chǎn)力,大數(shù)據(jù)的這些令人印象深刻的優(yōu)勢(shì)很少受到爭(zhēng)議。但是要正確地使用大數(shù)據(jù),一個(gè)公司必須首先收集和處理它,這意味著可能要從多個(gè)數(shù)據(jù)來源中收集盡可能多的信息。雖然一個(gè)企業(yè)的確基友可能用上他們所收集的所有數(shù)據(jù),但更為常見的情況卻是,一些數(shù)據(jù)將永遠(yuǎn)不會(huì)被使用。當(dāng)談到非結(jié)構(gòu)化數(shù)據(jù)時(shí),這的確是個(gè)問題。隨著時(shí)間推移,所有未被使用的數(shù)據(jù)可能會(huì)帶來一個(gè)問題——堵塞了數(shù)據(jù)中心,這很像可以堵住房子里的水管的那些黏糊糊的東西。專家們?yōu)檫@類數(shù)據(jù)創(chuàng)造了一個(gè)術(shù)語——暗數(shù)據(jù)(Dark?data),如果你的公司沒有清理這些暗數(shù)據(jù),那它們很可能會(huì)增加公司的運(yùn)營(yíng)成本和各種安全隱患。
若要以正確的方式處理暗數(shù)據(jù),你首先需要對(duì)它進(jìn)行定義。那么暗數(shù)據(jù)究竟是什么呢?簡(jiǎn)而言之,暗數(shù)據(jù)就是一個(gè)企業(yè)收集、處理和存儲(chǔ)起來的,最后并沒有投入任何特定用途的信息。通常情況下,暗數(shù)據(jù)將會(huì)閑置多年,在你的公司繼續(xù)收集更多數(shù)據(jù)的同時(shí)占用數(shù)據(jù)中心中的寶貴空間。隨著未使用數(shù)據(jù)的不斷堆積,一些最開始可能只是小麻煩的問題會(huì)越積越嚴(yán)重。所有這些額外的數(shù)據(jù)都會(huì)導(dǎo)致增加開支,但更嚴(yán)重的是,這些數(shù)據(jù)通常是不受保護(hù)的,這等于打開了數(shù)據(jù)泄露和其他可能的安全事故的大門。
因此,如果暗數(shù)據(jù)是如此昂貴和危險(xiǎn),為什么各公司甚至忍受它們保持在身邊?事實(shí)是,許多企業(yè)寧愿存儲(chǔ)他們手機(jī)的所有數(shù)據(jù),以確保他們遵守所有的法律法規(guī)。與此同時(shí),企業(yè)都不情愿清空未使用的數(shù)據(jù),因?yàn)樗麄冇肋h(yuǎn)不知道自己是否會(huì)在未來的某個(gè)時(shí)間需要它們。大數(shù)據(jù)分析能夠產(chǎn)生一些解決問題的方法,而為了找到這些解決方案,企業(yè)需要用到相關(guān)的數(shù)據(jù)。就像那種常見的心態(tài)一樣,僅僅因?yàn)槟悻F(xiàn)在用不上它不代表它在以后也沒有價(jià)值。然而這樣的想法并不總會(huì)變成現(xiàn)實(shí)。如果有的話,這和囤積者的心態(tài)也沒什么不同。即使一個(gè)企業(yè)不采取什么特點(diǎn)的心態(tài),很多公司覺得他們實(shí)在是太忙了,以至于無法顧及到清理暗數(shù)據(jù)這檔子事。
對(duì)暗數(shù)據(jù)的一次徹底清理可能十分耗時(shí),這是事實(shí),但結(jié)果也非常值得去努力。主要的挑戰(zhàn)在于要擺脫暗數(shù)據(jù),同時(shí)仍然持有任何必要的數(shù)據(jù)。在你的公司中你有幾種方法可以做到這一點(diǎn)。其中最有效的方法是過濾數(shù)據(jù)。當(dāng)收集由機(jī)器和互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)時(shí),你會(huì)發(fā)現(xiàn)數(shù)據(jù)伴隨的很多有價(jià)值的信息在很大程度上是無用的。通過識(shí)別和隔離你所需要的數(shù)據(jù),你能夠把它從所有其他的雜音中分離出來。這有助于放置一開始就發(fā)生不必要的數(shù)據(jù)堆積的情況。在這一努力過程中,某些大數(shù)據(jù)工具能夠有所幫助,但它取決于每個(gè)公司去識(shí)別哪些數(shù)據(jù)是最寶貴從而需要保留的,而哪些數(shù)據(jù)是最好清理掉的。
各企業(yè)還可以積極努力地通過把探索到的暗數(shù)據(jù)導(dǎo)入其他數(shù)據(jù)庫來清理他們的數(shù)據(jù)中心。云計(jì)算在這一過程中可謂是特別得心應(yīng)手。如果你的公司和一個(gè)云供應(yīng)商有一種穩(wěn)定的合作關(guān)系,那么利用它們來存儲(chǔ)不需要的數(shù)據(jù)將會(huì)是一個(gè)既明智又經(jīng)濟(jì)劃算的選擇。當(dāng)在使用此法時(shí),你會(huì)從你的數(shù)據(jù)中心中擺脫暗數(shù)據(jù),但是當(dāng)你需要在一個(gè)新的分析項(xiàng)目中用到它時(shí),你仍然可以使用它們。企業(yè)也可能會(huì)選擇從他們的數(shù)據(jù)中心中把數(shù)據(jù)存檔到一個(gè)單獨(dú)的位置,例如將信息傳送到硬盤驅(qū)動(dòng)器中,這個(gè)驅(qū)動(dòng)器比閃存存儲(chǔ)的性能要差,但卻是一個(gè)成本更低的替代性方案。
毫無疑問,暗數(shù)據(jù)可能對(duì)你的公司經(jīng)營(yíng)產(chǎn)生損害。如果沒有正確的管理和數(shù)據(jù)保留策略,未使用的數(shù)據(jù)可以很快地成為一個(gè)企業(yè)的負(fù)擔(dān)。最好的策略是盡早采取計(jì)劃,并且長(zhǎng)期堅(jiān)持計(jì)劃,這樣的話你就永遠(yuǎn)不用再面對(duì)需要立即清理暗數(shù)據(jù)負(fù)載的挑戰(zhàn)了。一個(gè)井井有條的數(shù)據(jù)中心往往意味著成功使用了大數(shù)據(jù)和浪費(fèi)時(shí)間與資源之間的區(qū)別。
????????????——原文作者:Rick?Delgado???譯文來源:CDA數(shù)據(jù)分析師