在過去的幾年里，人們從知道大(da)數據的概念，發展到一(yi)些(xie)組織(zhi)能夠真正(zheng)(zheng)實施一(yi)些(xie)大(da)數據項(xiang)目。然而，在一(yi)些(xie)組織(zhi)的數據中(zhong)心團隊負責實施這些(xie)業務驅(qu)動的舉措(cuo)之后(hou)，現在才開始認識到實現真正(zheng)(zheng)大(da)數據集成的復雜性和深度。
大(da)數據通過人們生活，工作平臺，應用程(cheng)序，以(yi)及設備提供(gong)了多種格式的(de)大(da)量的(de)數據。大(da)量的(de)結構(gou)化(hua)和非結構(gou)化(hua)的(de)內容往(wang)往(wang)使用戶非常難(nan)以(yi)訪問和分(fen)析所需的(de)信息。
現代數(shu)據中心往(wang)往(wang)是一個復雜的(de)(de)系(xi)統(tong)，相互連接的(de)(de)服務器(qi)和(he)設(she)備存儲，處理和(he)分(fen)發各種來源的(de)(de)大量(liang)信(xin)息。但智能大數(shu)據整合，在改造傳(chuan)統(tong)的(de)(de)信(xin)息系(xi)統(tong)，可(ke)以緩解從地理位置分(fen)散的(de)(de)網站(zhan)，甚至(zhi)其他數(shu)據中心的(de)(de)聚集和(he)分(fen)析信(xin)息的(de)(de)斗爭。
如果一個(ge)數據中心(xin)是一個(ge)組織的(de)(de)(de)大(da)(da)腦，那么可以(yi)認為其數據源就是反饋給神(shen)經和細胞的(de)(de)(de)信(xin)息(xi)。智能(neng)大(da)(da)數據集成意味著該(gai)組織的(de)(de)(de)“神(shen)經系統”，為整(zheng)個(ge)企業快速傳達(da)信(xin)息(xi)，為現代商業生態系統起著至關重要的(de)(de)(de)作用。但這也意味著數據中心(xin)的(de)(de)(de)管理人員將(jiang)獲得(de)他們尋求的(de)(de)(de)準確和高效(xiao)的(de)(de)(de)數據處(chu)理的(de)(de)(de)安全性，質量，控制和管理。
從哪里開始
任何大數(shu)據(ju)項目的目的是為了獲得更好的結果，其(qi)中包括直接進行實時洞察和基于循(xun)環(huan)模式的長(chang)期觀點，但首先你必須克服(fu)早期的集成(cheng)挑戰。所以要問你自(zi)己：
· 你所有的關鍵數據來自哪里？
· 你的(de)組織如何聚合并快速(su)移動(dong)所有的(de)數據(ju)？
· 如何分析可用的(de)數據是(shi)否有價值？
· 通過在技(ji)術和基礎(chu)設施(shi)方面的(de)投資，你的(de)企業如何才能(neng)最大限度地發揮價(jia)值(zhi)？
最終，大(da)數(shu)(shu)據(ju)(ju)整合攝入，準備和提供的(de)(de)數(shu)(shu)據(ju)(ju)，不管是(shi)什(shen)么來源。這包括利用在(zai)企業每一類(lei)型的(de)(de)數(shu)(shu)據(ju)(ju)，包括復(fu)雜的(de)(de)，往往是(shi)非結構化的(de)(de)機器產生(sheng)的(de)(de)數(shu)(shu)據(ju)(ju)，這通常需(xu)要一個(ge)更加(jia)融合的(de)(de)數(shu)(shu)據(ju)(ju)中心的(de)(de)基礎設(she)施。
因此(ci)，第一步(bu)驟，可以(yi)說是最(zui)重要的(de)一步(bu)，是整合(he)所有可用(yong)的(de)數(shu)據(ju)。以(yi)下是確定你的(de)大數(shu)據(ju)集成項目有效實(shi)施的(de)三個關鍵領(ling)域(yu)。
（1）可(ke)靠的數據流
攝入大數(shu)據到一(yi)(yi)個(ge)平(ping)(ping)臺，像ApacheHadoop這(zhe)樣的(de)(de)平(ping)(ping)臺是不夠(gou)智能的(de)(de)，不足以(yi)啟動一(yi)(yi)個(ge)Hadoop集群，輸入所有類型的(de)(de)數(shu)據，并得出具有突(tu)破(po)性的(de)(de)新見解，展現自己。大數(shu)據行業廠商似(si)乎每一(yi)(yi)個(ge)星期(qi)都在發布新的(de)(de)工具和(he)升級(ji)版本(ben)，甚(shen)至將某一(yi)(yi)技(ji)術引入到你的(de)(de)堆棧，雖然功(gong)能并不強大，但卻可以(yi)使你的(de)(de)整個(ge)平(ping)(ping)臺過時。
這是常見的企(qi)業應用程序和集群(qun)之間的經驗數(shu)(shu)據(ju)流和數(shu)(shu)據(ju)退化問題。因此，大多數(shu)(shu)反應涉及(ji)手工編(bian)碼正在嘗試努(nu)力工作，并拋棄一(yi)些其他類型的技術。通常情況下，這是一(yi)個解決(jue)方案。但這不是最(zui)終(zhong)的解決(jue)辦法。
采用一(yi)個安全的，敏捷的集成平臺，專注于調動實際(ji)的數據(ju)流(liu)進出數據(ju)中心的管道(dao)，確保(bao)在越(yue)來越(yue)復雜的工作(zuo)場所的生(sheng)態(tai)系統進行可(ke)靠的信(xin)息交換(huan)。
（2）可擴展性
目前存在一些主要(yao)(yao)的整合，治理和(he)(he)(he)安全問題，需要(yao)(yao)針對不同層(ceng)次的大(da)數(shu)據(ju)采取不同的舉(ju)措，特別是(shi)在數(shu)據(ju)中心(xin)。我們今(jin)天正在經(jing)營(ying)業務在其規模和(he)(he)(he)信息方(fang)面日(ri)益龐大(da)，這(zhe)使得數(shu)據(ju)成為(wei)“大(da)數(shu)據(ju)”。而人們需要(yao)(yao)跨越(yue)地域和(he)(he)(he)傳統(tong)的數(shu)據(ju)中心(xin)來(lai)管(guan)理大(da)數(shu)據(ju)，那些過時陳(chen)舊的工具(ju)已經(jing)嚴重低(di)估了現代需求。
隨(sui)著企業的(de)發展和新的(de)數據源開始發揮作用，需要增加不同的(de)技術(shu)，你的(de)系統將(jiang)無(wu)一例(li)外地(di)必須適應。如果你將(jiang)現在的(de)問題通過手工編碼解決，當(dang)你試圖擴展之后，會不會在擁有它(ta)(ta)以后拋棄它(ta)(ta)？
簡單地(di)(di)增(zeng)加更多(duo)的(de)工作人(ren)員(yuan)或代(dai)碼的(de)問題(ti)并(bing)不(bu)(bu)是一個可擴展(zhan)(zhan)的(de)策略，也不(bu)(bu)會解決復雜的(de)大數(shu)據傳輸問題(ti)。需要有一個堅實(shi)的(de)數(shu)據集成和(he)管理平臺下的(de)商業智(zhi)能工具(ju)，可以輕松地(di)(di)擴展(zhan)(zhan)，采(cai)用眾多(duo)的(de)大數(shu)據工具(ju)，并(bing)且(qie)其來源而不(bu)(bu)中(zhong)斷。
（3）數(shu)據(ju)質(zhi)量，分類，治(zhi)理
而從(cong)結(jie)構(gou)(gou)化數(shu)據(ju)出來的(de)CRM和ERP應用程(cheng)序通常很好地進行(xing)企(qi)業的(de)分析，但它是(shi)(shi)非結(jie)構(gou)(gou)化的(de)數(shu)據(ju)，更加難以(yi)管理(li)。企(qi)業必須以(yi)某(mou)種(zhong)方式治理(li)信息混亂，因為(wei)即使是(shi)(shi)最小的(de)數(shu)據(ju)質量的(de)問題也會產生(sheng)巨大的(de)錯誤。成功(gong)的(de)公司在(zai)元(yuan)數(shu)據(ju)級別上做到這一點。
通過元數(shu)據(ju)定(ding)義信(xin)息是至(zhi)關重(zhong)要的(de)，因為(wei)它提(ti)供了來自大數(shu)據(ju)的(de)結構(gou)，幫(bang)助進行(xing)分(fen)類(lei)和整(zheng)理這(zhe)些信(xin)息以后(hou)可以輕松找到(dao)(dao)。當信(xin)息流動到(dao)(dao)你的(de)數(shu)據(ju)湖，必須(xu)進行(xing)某(mou)種分(fen)類(lei)，因此(ci)你正在做分(fen)析的(de)數(shu)據(ju)實(shi)際上是準確的(de)。
企(qi)業在(zai)錯誤(wu)的(de)數據方面浪(lang)費了一(yi)些(xie)(xie)技術周期(qi)，特別是昂貴的(de)今天(tian)。所有這些(xie)(xie)質量和(he)分(fen)類(lei)必須(xu)在(zai)某一(yi)點上進行，但它應該(gai)在(zai)早期(qi)的(de)水平，即使在(zai)集成周期(qi)。企(qi)業認為在(zai)數據質量的(de)早期(qi)可(ke)以得到(dao)更好的(de)，更有價值的(de)分(fen)析(xi)。
總結：
每一(yi)個組織都會成為一(yi)個數據(ju)組織，或(huo)是(shi)被甩在后面。是(shi)什么使(shi)一(yi)個公司可以獨有他(ta)們的(de)(de)數據(ju)，并更好地(di)使(shi)用數據(ju)。因此(ci)，一(yi)個成功的(de)(de)大(da)數據(ju)項目(mu)最終(zhong)取決于一(yi)個組織的(de)(de)捉捕其數據(ju)的(de)(de)能力。
快速(su)攝(she)入和處理的(de)(de)(de)大數據(ju)，需要一(yi)個可(ke)靠的(de)(de)(de)集(ji)成基礎設(she)施，可(ke)以(yi)(yi)很容易地擴展(zhan)以(yi)(yi)容納大量的(de)(de)(de)數據(ju)量，驅動實時訪問(wen)，并支持每一(yi)個請求分(fen)析。利用信息，以(yi)(yi)獲得競爭優勢，這聽(ting)起(qi)來(lai)很偉大，但只有(you)可(ke)靠準(zhun)確地集(ji)成了(le)所有(you)的(de)(de)(de)數據(ju)源(yuan)之后(hou)，才能建立一(yi)個可(ke)用的(de)(de)(de)數據(ju)湖。
當正確(que)(que)的(de)(de)信息傳遞給正確(que)(que)的(de)(de)人，所以(yi)可以(yi)理(li)解(jie)并采(cai)取行動最(zui)(zui)大(da)限度地提高(gao)大(da)數(shu)據整合的(de)(de)價值。但是，只有當企(qi)(qi)業(ye)支持提供了(le)大(da)數(shu)據下的(de)(de)投資(zi)和可靠(kao)的(de)(de)集成(cheng)平臺，他們將(jiang)獲得(de)每個企(qi)(qi)業(ye)都在(zai)尋求(qiu)大(da)數(shu)據的(de)(de)最(zui)(zui)佳(jia)回(hui)報。
