端到端數據戰(zhàn)略，亞馬遜云科技為數據服務帶來了什么？

大約十年前，維克托·舍恩伯格在《大數據時代》一書中直言：世界的本質是數據，大數據將開啟一次重大的時代轉型。

十年之后，維克托·舍恩伯格的預言逐漸成真。全球數字經濟近年來的蓬勃發(fā)展，推動了各行各業(yè)的加速轉型。如今，數據已然成為最重要的生產要素，無論是產業(yè)數字化，還是企業(yè)數字化轉型，均已離不開數據。

但如何把數據“用起來”始終是眾多行業(yè)用戶所面臨的一大挑戰(zhàn)。一方面，隨著企業(yè)數字化轉型進入深水期，在逐漸完成上云之后，“用數”自然而然就成為數字化轉型的階段性重點；另一方面，能否“用好數”又直接跟接來的“賦智”緊密相關，直接關系著企業(yè)未來數字化轉型的成敗。

因此，針對“用數”打造相應的策略、方案和產品就成為云服務商在當前的重中之重。在2022 re:Invent全球大會上，亞馬遜云科技就正式推出了其端到端數據戰(zhàn)略，為廣大上云企業(yè)的用戶帶來了清晰的策略與方法論。

正如亞馬遜云科技數據與機器學習副總裁 Swami Sivasubramanian博士所言：“端到端數據戰(zhàn)略包括三個核心要素：一是面向未來的數據基礎設施；二是跨組織的數據鏈接；三是數據普惠化。最終目標是幫助企業(yè)將數據轉化為對業(yè)務有意義的見解和行動，驅動企業(yè)借助數據進行下一波創(chuàng)新。”

端到端數據戰(zhàn)略解決了什么

數據爆炸性增長的年代，把數據“用起來”并非易事。

事實上，從最早的大數據平臺，到后來的數據中臺，再到現在的湖倉一體、數據編織（Data Fabric），與數據相關的各色概念層出不窮，用戶們也是應接不暇、手足無措，但離真正把數據“用起來”尚有著不小差距。

究其原因，數據量、數據消費群體和數據驅動場景均已經發(fā)生了顯著變化。這使得從數據收集、數據治理到數據分析、數據管理，再到數據價值的實現，涉及到了鏈路極其長且復雜，很少有用戶能夠完全駕馭。

所以，亞馬遜云科技在積累多年與數據相關的產品、技術之后，開始打造端到端的數據戰(zhàn)略，從數據全鏈路的視角幫助用戶們把數據“用起來”。

具體來看，亞馬遜云科技認為首先需要面向未來的數據基礎設施。Swami Sivasubramanian博士介紹，面向未來的數據基礎設施應具備四個要素：需要有正確的數據庫工具來應對所有類型的工作負載；可以在大規(guī)模的情況下進行高性能的運行；不需要我們做非常多的重復工作；以及需要高可靠性和高伸縮性。

顯然，相比于其他廠商，云服務商在構建面向未來的數據基礎設施無疑是領先的。得益于云端各種大規(guī)模場景的不斷驗證，云服務商們最有條件為數據分析與應用構建起先進的數據基礎設施。

其次，，亞馬遜云科技認為需要實現安全高效的跨組織數據鏈接。Swami Sivasubramanian博士介紹：企業(yè)可以使用一個合作系統來連接孤立的團隊，為重要資源創(chuàng)造快捷安全的訪問途徑，使用正確數據治理系統，借助高質量的工具和數據來推動未來的增長。

正所謂數據只有充分的流動、共享才能發(fā)揮價值。但數據的流動、共享既需要合規(guī)，還需要有安全保障，對于數據長鏈路而言，這是巨大挑戰(zhàn)。所以，亞馬遜云科技構建安全高效的跨組織數據鏈接，推動數據有效流動、共享是當前很多用戶所渴望的。

最后，亞馬遜云科技認為需要工具和教育實現數據普惠化。事實上，數據消費群體持續(xù)擴大是大勢所趨，但數據消費者的技能也是把數據“用起來”的關鍵。亞馬遜云科技預計到2029年，人工智能勞動力將增加100萬個工作崗位，但培育合適的技能和人選來填補這些空缺將是一項重大挑戰(zhàn)。

為此，亞馬遜云科技正在幫助社區(qū)學院和 MSIs 加大教育力度，推出新的亞馬遜云科技機器學習大學教育培訓計劃，提供動手培訓課程，為培育新一代勞動力做好準備。

可以看出，在今年2022 re:Invent全球大會上，亞馬遜云科技除了發(fā)布大量針對數據的產品與功能之外，也開始用端到端的視角推出數據戰(zhàn)略，給予用戶們更加清晰的數據“用起來”的思路。

讓數據服務走向簡單化

眾所周知，數據服務與價值實現的鏈路很長，且具有相當的復雜性。因此，端到端的數據戰(zhàn)略是大勢所趨。但端到端的數據戰(zhàn)略并不是簡單的將眾多數據服務、工具和產品進行拼湊與集成，而是需要深度整合、優(yōu)化，實現使用體驗與效率質的飛躍。

在亞馬遜云科技看來，數據服務需要恰當的工具、有效的數據集成、規(guī)范數據治理以及深入的業(yè)務洞察力。因此，亞馬遜云科技的思路是：

一方面是持續(xù)打造有競爭力的數據工具與服務，不斷完善產品的功能；另一方面，則從使用者的角度出發(fā)，讓數據服務走向深度集成化、簡單化，讓端到端的數據服務真正有效果。

“從本次re:Invent發(fā)布的特性看未來技術演進的方向，非常明顯的一點就是數智融合，也就是如何打造一個端到端的數據服務戰(zhàn)略。”亞馬遜云科技大中華區(qū)產品部總經理陳曉建如是說。

例如，亞馬遜云科技在今年2022 re:Invent全球大會上提出了 Amazon OpenSearch Serverless 版本、Amazon Aurora與 Amazon Redshift 的 Zero-ETL（提取、轉換和加載）集成、Amazon Redshift 與 Apache Spark 集成、精細的數據管理產品 Amazon DataZone、Amzon Quicksight Q 預測服務等一系列與數據相關的服務。

以Zero-ETL為例，亞馬遜云科技推出的Zero-ETL（提取、轉換和加載）集成服務極具價值與意義。眾所周知，過去的數據治理與應用體系嚴重依賴ETL。Gartner調研數據顯示：分析師80%的時間用于發(fā)現和準備數據，知識型員工將50%的時間浪費在尋找數據、發(fā)現和糾正錯誤以及確認不信任的數據來源上，數據科學家花60%的時間清理和組織數據。

當數據規(guī)模遠勝以往之后，依賴ETL的方式就容易數據的供給側與使用側極大的效率問題，因此Zero-ETL成為大勢所趨，通過Zero-ETL簡化雜ETL鏈路，實現敏捷數據洞察和高效一致的數據協作。

例如，Amazon Aurora 將首次支持與 Amazon Redshift 的 Zero-ETL（提取、轉換和加載）集成，將事務數據與分析功能結合在一起，消除了在 Aurora 和 Redshift 之間構建和管理自定義數據管道的所有工作。用戶不必構建和維護復雜的數據管道來執(zhí)行提取、轉換和加載（ETL）操作。

又如，數據爆炸性增長為數據治理帶來了前所未有的復雜度。數據治理涉及到不同的團隊、應用和權限管理，使得細顆粒度的數據管理成為當前的強需求。因此，亞馬遜云科技打造出 Amazon DataZone，用于分類、發(fā)現、共享和管理數據的數據管理服務，可以集成 Redshift、Athena 和 QuickSight，以及對第三方數據源提供 API 接口，可實現細粒度數據管理，其中包含由機器學習填充的數據目錄，易于使用業(yè)務術語進行搜索。

在亞馬遜云科技看來，DataZone可以使數據工程師、數據科學家、產品經理、分析師和其他業(yè)務用戶能夠輕松地發(fā)現、使用和協作數據。

亞馬遜云科技在今年2022 re:Invent全球大會上推出與數據相關的系列服務都極具價值且意義重大。對于逐步完成上云階段的眾多用戶而言，這些服務與工具的推出可謂是恰逢其時，能夠很好地幫助用戶把數據“用起來”，對于數字化轉型有著極大的幫助。

從亞馬遜云科技看數智未來

一直以來，業(yè)界都在積極提倡上云、用數和賦智，寄希望打造三者的價值閉環(huán)，從而真正讓企業(yè)數字化轉型步入良性發(fā)展的軌道?？梢钥磥恚瑏嗰R遜云科技近年來針對數據服務、機器學習平臺等產品與服務的系列構建，已經率先在業(yè)界實踐出“云、數、智”的閉環(huán)之路。

首先，亞馬遜云科技正在把重要的工具與服務做深、做精，從而讓產品與服務的累積效應得以顯現。例如，亞馬遜云科技機器學習平臺Amazon SageMaker五年來增加了260項新功能，不斷降低機器學習的技術門檻，簡化機器學習的前期工作，加速為客戶“賦智”。

在本次re:Invent全球大會上，亞馬遜云科技還將機器學習的治理功能引入到Amazon SageMaker，通過角色管理器（Role Manager）、 模型卡片（Model Cards），以及模型儀表板（Model Dashboard）等涵蓋端到端機器學習流程的管理與治理。

其次，亞馬遜云科技正在持續(xù)打通數智之間的鏈路，優(yōu)化產品與服務，形成產品與服務之間的疊加效應。這從亞馬遜云科技推出Amazon Redshift 與 Apache Spark 集成等功能就能反應出。

事實上，隨著亞馬遜云科技不斷優(yōu)化不同服務之間的集成，將有利于進一步降低數智的門檻，有望為廣大用戶帶來更加出色的服務體驗。

最后，亞馬遜云科技看中在各大行業(yè)之中的閉環(huán)實踐。在今年re:Invent全球大會上，亞馬遜云科技帶來了供應鏈、廣告營銷、生物醫(yī)療、零售等一系列的數智新方案，為用戶踐行上云、用數和賦智提供了充分保障。

總體來看，“數據”是今年re:Invent全球大會上的絕對主角。隨著企業(yè)逐步完成上云階段，在云端的“用數”和“賦智”是所有企業(yè)數字化轉型接下來的重中之重，這個過程將充滿了挑戰(zhàn)。無疑，亞馬遜云科技帶來了它的方法論、戰(zhàn)略以及產品服務。面向未來，隨著亞馬遜云科技端到端數據戰(zhàn)略不斷在行業(yè)中踐行，亞馬遜云科技有望幫助更多用戶在浩瀚的數據海洋中乘風破浪、馭數而行。

生成海報

免責聲明：此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網無關。文章僅供讀者參考，并請自行核實相關內容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。