亞馬遜云科技:數據流通和應用的關鍵在于識別、可見、協作及可操作
數據作為新型生產要素,是數字化、網絡化、智能化的基礎,..Outpost24:數據顯示認為IT管理員也應為密碼使用不力承擔責任 愛用的是”admin”
Outpost24 的新數據顯示,IT管理員在密碼問題上可能與終用..GSMA:2023年移動互聯網報告
GSMA發布了“2023年移動互聯網報告”。移動互聯網普及率持..北卡羅來納州立大學:研究表明醫療篩查變化部分導致青少年自殺率上升
據報道,在 COVID-流行之前的十年間,兒童和青少年的自殺行..加州大學:研究發現間歇性斷食可防治老年癡呆癥
一項研究表明,喂食可以改善小鼠與阿爾茨海默氏癥有關的晝..傳音財報:2023年Q3傳音營業收入179.93億元 同比增長39.23%
市場之外,智能手機產業出現了新亮點——新興市場。近日,..
數據作為新型生產要素,是數字化、網絡化、智能化的基礎,已快速融入生產、分配、流通、消費和社會服務管理等各個環節,深刻改變著生產方式、生活方式和社會治理方式。
在亞馬遜云科技大區產品部總經理陳曉建看來,數據已經是現代發明和之源。如何從數據本身既保證的前提下,同樣促進數據的應用,這是擺在眾多企業面前的難題。
數據牽涉到很多業務的,要保證,同時也要去滿足數據合規的要求。但是,和合規往往和數據應用是矛盾的關系。如何在保證數據的和合規的同時能大限度地促進數據的流通和應用?
很多企業和用戶通過IT信息化積累了非常多的數據,但很多數據都是處在孤島的狀態,并沒有實現充分的跨組織和跨公司之間的流通,并沒有有效地實現數據的協作。這是一對制約整個業務發展、大化的關鍵的矛盾。到今天有越來越多的企業設立了CDO(Chief Data Officer)的職位,通過技術和流程促進數據的應用和進行業務大化。
在主題為“ 釋放數據”的分享會上,陳曉建將企業數據與應用面臨的挑戰歸納為四個方面,分別是業務數據的識別、可見、協作以及數據的可操作。
識別敏感數據 應對合規挑戰
如何評估什么是個人數據、什么是個人敏感數據,這是每個企業要思考,要解決的重大的問題。企業要實現數據的合規需要人,流程,工具相互配合。
為用戶的業務和計算負載提供合適的工具,一直是亞馬遜云科技投入的方向。在敏感數據的發現與識別也是一樣,通過合適的工具產品與解決方案,與合作伙伴一起,為亞馬遜云科技用戶提供。
敏感數據保護解決方案(Sensitive Data Protection on Amazon Web Services, SDP)是亞馬遜云科技轉為敏感數據識別與保護這一場景量身定做的方案。這是一個開源的數據及數據隱私云原生解決方案,客戶可以在自己賬號內部署使用。
利用機器學習、模式匹配等方式自動識別敏感數據,允許客戶創建數據目錄、使用內置或定制數據識別規則定義敏感數據類型。該解決方案還提供化的管理平臺,客戶可通過網頁應用程序對敏感數據資產進行可視化管理。通過敏感數據保護解決方案,客戶可以加速實現業務數據合規,為下一步釋放數據鋪平道路。
特別適用于兩種場景,一是存量數據多且分散,需要使用這個方案來發現四處分散的數據。二是對于數據類型不好判斷的情況下,可以使用這個方案自動根據合規要求來識別,提高準確率。
數據可見 被有效地發現、共享和協作
數據可見指的是在一個公司內部有很多的業務數據,分別分布在不同的“煙囪”(silo)里,在不同用戶的數據的“煙囪”里如何實現公司內部跨組織之間數據的可見并共享。
數據可見是企業內不同角色挖掘數據的前提,也是不同治理模式協同的基礎。
每個企業的應用場景都是不同的,IT信息化做得也不同,數據的處理和分布也是不同的。在這個層面,往往會需要有多個角色和多個團隊來進行協同的開發,譬如說,業務人員,業務人員背后的應用開發人員和數據分析的人員等等,在不同的階段可能還會有許多數據分析和數據開發的團隊。
數據在不同的業務場景下,也有很大的不同:
是數據本身結構不同。ERP的訂單數據往往是結構化的數據,通常存在數據庫里面,但是廣告業務的數據往往都是一些非結構化的數據,包括文本,也可能包括圖片、視頻等。
二是數據的使用要求不同,有的數據分析是定期匯總。但像類似廣告這樣的在線競爭營銷系統,需要的數據,能夠完成非常高的實時性,往往在毫秒級別就要完成快速的數據應用并且能輸入結果。針對不同的數據需求,數據本身的類型和數據所處的環境,包括數據所使用的這些要求,整個數據團隊需要應對不同的數據引擎,既要能處理來自于數據庫的數據引擎,類似于ERP結構化的數據,還有要處理數據分析可能使用的數據倉庫的一種非結構化數據引擎。還有可能有很多三方的軟件,包括可能像類似于Salesforce這樣三方常用的軟件,從不同的數據源中匯聚形成數據。這是每個企業應對的挑戰。
在數據團隊和業務團隊協作方式上,集中式和聯邦式是比較常見的兩種類型,
集中式:負責治理運營的人主要集中在數據團隊并負責所有治理工作,集中式方式能夠實現快速的決策和的執行。這種結構較為簡單,易于實施和控制。適合剛開始數據分析之旅和小型組織的客戶。
聯邦式:總的治理原則/政策有特定團隊負責,但負責治理運營的人可以分散在各業務線,這樣業務部門擁有自己的數據,并在組織的監督下做出決策,以滿足其特定需求和目標。適合多BU的中大型企業或跨國企業。
兩種類型的協作方式都需要多個角色協同,特別是聯邦式治理是對“數據可見”需求迫切。
在這個客戶需求背景下,亞馬遜云科技在去年推出一項全新的數據管理服務Amazon DataZone,讓每個人都能看見數據,數據。它可以讓客戶快、輕松地對存儲在亞馬遜云科技、客戶本地和三方來源的數據進行編目、發現、共享和治理。
借助Amazon DataZone可以使用精細的控制工具管理和治理數據訪問權限,確保數據訪問發生在正確的權限和正確的情境之下。
Amazon DataZone使數據、數據科學家、分析師和業務用戶可以輕松訪問整個組織的數據,從而發現、使用數據,通過數據進行協作來獲得洞察。
多方協作:多方數據地共享和分析
多方數據協作為行業注入活力,企業之間需要產業上下游數據協作來快速,而企業需要在和創造之間尋求平衡。
在實際的場景中,數據協作的所有參與者都需要面對數據保護與業務之間的權衡?,F在有一些企業實現數據協作的方式是向合作伙伴提供數據副本,并依賴合同協議防止濫用。但是,顯而易見,這樣的方式仍然發生了數據移動,依然存在數據誤用和泄漏的風險。
亞馬遜云科技推出了Amazon Clean Rooms,實現了匹配、分析和協作彼此的數據,而不需要移動或者暴露原始數據,地實現數據分析協作。
使用Amazon Clean Rooms,用戶可以在幾分鐘內創建一個的數據Clean Room,通過創建協作項目,實現數據的多方協作。而對于數據提供方而言,不僅可以通過數據預加密來對數據進行保護,而且因為所有成員都是直接從自己的Amazon S3貢獻數據,從而真正實現了只有數據查詢和分析而沒有數據移動。
值得強調的是,Amazon Clean Rooms提供了一個密態計算的環境,數據的提供方可以對數據進行預加密,從而在Clean Rooms 環境中的數據以加密的形態完成數據分析操作,并將分析結果解密并返回,從而在數據的到大保護的同時充分在協作方之間開發了數據。
生成式AI時代,企業需要多三方的數據來協作。而三方數據的卻并非易事。Amazon Data Exchange可以大大簡化三方數據的過程
Amazon Data Exchange 使客戶能夠輕松在云上找到、訂閱和使用三方數據。
AWS Data Exchange已經可以提供過3500種的三方數據,數據來源包括金融,天氣,地理空間,健康醫療等等非常多的行業和領域。
而通過Amazon Data Exchange數據非常簡便,支持包括Amazon S3注入,查詢表接口(query tables)以及API調用等多種的訪問方式。 對于像生成式ai的模型訓練這樣的場景來說,用戶只需要將下單的數據集注入到Amazon S3數據湖,就可以使用數據分析工具進行數據處理進而開始模型訓練了。
所有數據在存儲和傳輸時都是加密的。亞馬遜云科技整合了身份和訪問控制管理系統(IAM)來設定權限,以及來監控實際的訪問過程。
包括像Amazon DataZone為了實現數據的訪問,還有一個很重要的工作就是在Amazon Clean Rooms里面怎么實現的計算,在這個層亞馬遜云科技做了數據全鏈條的加密,不光是在存儲的時候,在傳輸的時候、計算的時候都實現了加密,這對解決數據有效的共享都是的。
亞馬遜云科技提供了特定場景下的解決方案比如Amazon DataZone,
Amazon Data Exchange,Amazon Security Lake,這背后不只是技術的能力,亞馬遜云科技擁有的產品尤其是化的產品能力也是至關重要的,只有有了這些能力才能讓用戶放心地去用。
在阻礙數據共享的很重要的因素還是在技術上的一些能力,可能沒有在數據和方面能都做得非常好,而Amazon DataZone、Amazon Data Exchange,致力于在和功能方面能都做到比較讓客戶滿意,真正實現對生產系統的支撐能力。
您是第736509位訪客
版權所有 ©2025-09-27 粵ICP備2023141639號
星鏈數網市場調查(深圳)有限公司 保留所有權利.
手機網站
地址:廣東省 深圳市 南山區 粵海街道 高新區社區 圳市南山區粵海街道高新區社區科技南八路2號豪威科技大廈1511
聯系人:木先生
微信帳號: