隨著企業(yè)數字化轉型的持續(xù)深入,數據分析呈現四大趨勢:第一,數據類型多元化,由以結構化為主轉變?yōu)榻Y構化、半結構化、非結構化、實時數據共存;第二,分析場景多樣化,由以統(tǒng)計分析為主轉變?yōu)榻y(tǒng)計分析、標簽分析、全文檢索、 預測分析、推理分析共存;第三,分析時效實時化,由以離線分析為主轉變?yōu)閷崟r分析、交互分析、自助分析和智能分析;第四,數據管控統(tǒng)一化,由以弱管控轉變?yōu)閺姽芸?,統(tǒng)一標準、統(tǒng)一存儲、統(tǒng)一治理、統(tǒng)一視圖。
數據平臺的演進經歷了如下幾個階段:
八十年代誕生的數據庫,解決了企業(yè)數據高效的事務性處理;
九十年代誕生的數據倉庫,核心思路是把數據庫中的數據進行一定格式轉換后,定時地復制至另一個庫里做列式存儲,從而滿足企業(yè)查詢和數據分析的訴求;
2000 年后,隨著互聯(lián)網的發(fā)展,數據量暴增,非結構化數據越來越多,企業(yè)業(yè)務變化越來越快,傳統(tǒng)數據倉庫無法適應大數據以及現代化企業(yè)對于實時、交互式分析等方面的訴求。數據湖因此誕生,它選擇了“前松后緊”的設計思路,初始化階段放棄嚴格的模式,后置 schema,從而獲取更強的靈活性,同時通過統(tǒng)一存儲管理和計算優(yōu)化來保證數據的一致性和性能;
近年來出現的湖倉一體架構,解決了數據湖與數據倉庫體系的割裂,在架構上把數據湖的靈活性、數據豐富性與數據倉庫的企業(yè)級戰(zhàn)略/戰(zhàn)術分析支持能力進行融合,逐步演進成為集多源異構數據統(tǒng)一儲存、多模型計算分析及統(tǒng)一數據治理的大數據綜合解決方案;
解決客戶的多元化數據類型,多樣化分析,實時數據分析和統(tǒng)一數據管控,建設湖倉一體平臺是現階段最優(yōu)解。
“湖+倉” vs“湖倉一體”
“湖倉一體”時代,數據湖和數據倉庫通過ETL打通,架構上仍各自獨立。數據湖從各類數據源接入原始數據,永久不刪,數據從數據湖遷移至數據倉庫,支持分析場景。雖然這種方式可快速利用已有的數據湖和數據倉庫資產,但是湖和倉仍然各自獨立,架構復雜,數據存多份且實效性慢,資源成本和運維成本依舊很高。
“湖倉一體”時代,通過統(tǒng)一資源管控,統(tǒng)一分布式存儲管理來支持多種存儲模型,統(tǒng)一分布式計算引擎,統(tǒng)一數據接口,實現湖倉一體架構,在技術上,具備存算解耦、彈性擴展、多租戶、多計算引擎、分級資源管理等能力;在功能上,兼具數倉的標準SQL、ACID,數據湖的大規(guī)模異構數據存儲等能力;對下,提供統(tǒng)多種數據接入形式,支持多云、混合云及跨云部署;對上,提供多種數據操作方式和接口,支持多種操作語言。
星環(huán)“湖倉一體”的解決之道
星環(huán)科技(星環(huán)信息科技)的湖倉一體解決方案,從下到上包含如下層次:1)信創(chuàng)自主可控硬件生態(tài),支持多種國產CPU,服務器和操作系統(tǒng);2)云原生底座,實現了基礎設施資源的統(tǒng)一管理;3)統(tǒng)一的分布式存儲管理,支持庫表存儲、文本存儲、對象存儲,鍵值存儲、時序存儲、事件存儲、時空存儲、圖存儲、全文引擎等多種模型存儲統(tǒng)一管理;4)統(tǒng)一分布式計算引擎,支持分析型處理、操作型處理及實時處理等多種計算類型;5)統(tǒng)一數據操作/數據接口,支持交互式報表分析、即席查詢、實時分析、圖像文本分析、預測性分析及多場景的數據探測分析,極大方便生態(tài)應用;6)統(tǒng)一數據管理,實現了多模型數據和元數據的統(tǒng)一管理;7)統(tǒng)一多租戶管理,在資源層,應用層和數據層實現了多租戶隔離。
星環(huán)“湖倉一體”的邏輯架構:星環(huán)的湖倉一體 的邏輯架構,實現了 N 數據源到1 數據湖,到 N 數倉和數集,到 1 數據接口,再到到 N 數據服務的總體邏輯架構。
星環(huán)“湖倉一體”的技術架構:星環(huán)湖倉一體的技術架構,核心是星環(huán)科技多模數據統(tǒng)一架構,它的核心價值是:1)將多個操作訪問入口變?yōu)橐粋€入口;2)將多種數據庫語言變?yōu)橐环N語言;3)將多套計算引擎變?yōu)橐惶滓?4)將多份計算資源變?yōu)橐环葙Y源;5)將分散存儲管理變?yōu)榻y(tǒng)一存儲管理;6)將多份數據資產變?yōu)橐环輸祿Y產。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )