建設(shè)數(shù)據(jù)倉(cāng)庫(kù)
建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)解決企業(yè)問題的過程,業(yè)務(wù)人員往往不懂如何建立和使用數(shù)據(jù)倉(cāng)庫(kù),發(fā)揮其決策支持的作用;信息部門的人員往往又不懂業(yè)務(wù),不知道應(yīng)該建立哪些決策主題,從數(shù)據(jù)源中抽取哪些數(shù)據(jù)。因此數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目小組應(yīng)該由業(yè)務(wù)人員和信息部門的人員共同組成,雙方需要相互溝通,協(xié)作開發(fā)數(shù)據(jù)倉(cāng)庫(kù)。
開發(fā)數(shù)據(jù)倉(cāng)庫(kù)的過程包括以下幾個(gè)步驟。
1.系統(tǒng)分析,確定主題
建立數(shù)據(jù)倉(cāng)庫(kù)的第一個(gè)步驟就是通過與業(yè)務(wù)部門的充分交流,了解建立數(shù)據(jù)倉(cāng)庫(kù)所要解決的問題的真正含義,確定各個(gè)主題下的查詢分析要求。
業(yè)務(wù)人員往往會(huì)羅列出很多想解決的問題,信息部門的人員應(yīng)該對(duì)這些問題進(jìn)行分類匯總,確定數(shù)據(jù)倉(cāng)庫(kù)所實(shí)現(xiàn)的業(yè)務(wù)功能。一旦確定問題以后,信息部門的人員還需要確定一下幾個(gè)因素:
·操作出現(xiàn)的頻率,即業(yè)務(wù)部門每隔多長(zhǎng)時(shí)間做一次查詢分析。
·在系統(tǒng)中需要保存多久的數(shù)據(jù),是一年、兩年還是五年、十年。
·用戶查詢數(shù)據(jù)的主要方式,如在時(shí)間維度上是按照自然年,還是財(cái)政年。
·用戶所能接受的響應(yīng)時(shí)間是多長(zhǎng)、是幾秒鐘,還是幾小時(shí)。
由于雙方在理解上的差異,確定問題和了解問題可能是一個(gè)需要多次往復(fù)的過程,信息部門的人員可能需要做一些原型演示給業(yè)務(wù)部門的人員看,以最終確定系統(tǒng)將要實(shí)現(xiàn)的功能確實(shí)是業(yè)務(wù)部門所需要的。
2.選擇滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái)
在數(shù)據(jù)倉(cāng)庫(kù)所要解決的問題確定后,第二個(gè)步驟就是選擇合適的軟件平臺(tái),包括數(shù)據(jù)庫(kù)、建模工具、分析工具等。這里有許多因素要考慮,如系統(tǒng)對(duì)數(shù)據(jù)量、響應(yīng)時(shí)間、分析功能的要求等,以下是一些公認(rèn)的選擇標(biāo)準(zhǔn):
·廠商的背景和支持能力,能否提供全方位的技術(shù)支持和咨詢服務(wù)。
·數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量(TB級(jí))的支持能力。
·數(shù)據(jù)庫(kù)是否支持并行操作。
·能否提供數(shù)據(jù)倉(cāng)庫(kù)的建模工具,是否支持對(duì)元數(shù)據(jù)的管理。
·能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具(ETT)。
·能否提供完整的決策支持工具集,滿足數(shù)據(jù)倉(cāng)庫(kù)中各類用戶的需要。
3.建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型
具體步驟如下:
(1)確定建立數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的基本方法。
(2)基于主題視圖,把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中。
(3)識(shí)別主題之間的關(guān)系。
(4)分解多對(duì)多的關(guān)系。
(5)用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型。
(6)由用戶審核邏輯數(shù)據(jù)模型。
4.邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型
具體步驟如下:
(1)刪除非戰(zhàn)略性數(shù)據(jù):數(shù)據(jù)倉(cāng)庫(kù)模型中不需要包含邏輯數(shù)據(jù)模型中的全部數(shù)據(jù)項(xiàng),某些用于操作處理的數(shù)據(jù)項(xiàng)要?jiǎng)h除。
(2)增加時(shí)間主鍵:數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一定是時(shí)間的快照,因此必須增加時(shí)間主鍵。
(3)增加派生數(shù)據(jù):對(duì)于用戶經(jīng)常需要分析的數(shù)據(jù),或者為了提高性能,可以增加派生數(shù)據(jù)。
(4)加入不同級(jí)別粒度的匯總數(shù)據(jù):數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度,粒度越大,數(shù)據(jù)的匯總程度越高。粒度是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的一個(gè)重要因素,它直接影響到駐留在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和可以執(zhí)行的查詢類型。顯然,粒度級(jí)別越低,則支持的查詢?cè)蕉?;反之,能支持的查詢就有限?/p>
對(duì)數(shù)據(jù)操作的效率與能得到數(shù)據(jù)的詳細(xì)程度是一對(duì)矛盾,通常,人們希望建成的系統(tǒng)既有較高的效率,又能得到所需的詳細(xì)資料。實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要原則就是不要試圖包括所有詳細(xì)數(shù)據(jù),因?yàn)?0%的分析需求是在匯總數(shù)據(jù)上進(jìn)行的。試圖將粒度細(xì)化到最低層,只會(huì)增加系統(tǒng)的開銷,降低系統(tǒng)的性能。
- 盒馬創(chuàng)始人預(yù)測(cè):美團(tuán)在快銷品領(lǐng)域超越天貓京東只是遲早的事
- 港科大攜手百望股份,打造金融智能體新篇章:開啟未來經(jīng)濟(jì)預(yù)測(cè)新紀(jì)元
- 特斯拉得州工廠再次停產(chǎn):產(chǎn)能壓力下的困境?
- 網(wǎng)傳持股計(jì)劃泡湯,員工成"最慘打工人"事件引爆輿論,廣汽埃安已采取行動(dòng)辟謠
- 微軟與AMD聯(lián)手打造未來Xbox,揭秘芯片合作新篇章!
- 盒馬創(chuàng)始人:劉強(qiáng)東揭示京東天貓快消品與美團(tuán)競(jìng)爭(zhēng)之謎,新零售風(fēng)向標(biāo)!
- 劉強(qiáng)東坦言:京東面臨挑戰(zhàn),未來五年創(chuàng)新業(yè)務(wù)成破局關(guān)鍵
- 華為助力上海移動(dòng)5G-A 2.0升級(jí),打造智慧城市新標(biāo)桿
- 亞馬遜云科技升級(jí)三大安全功能,筑牢生成式AI防御城墻
- 羅永浩數(shù)字人:驚艷還是噱頭,背后技術(shù)揭秘
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。