DataWorks在多個行業中均有典型的案例落地,幫助多個行業的企業解決數據痛點,挖掘數據價值,本文為您介紹典型行業中已落地的客戶案例。
新零售行業:大潤發云上數據中臺建設
客戶架構如下。
客戶簡介
為了快速數字化轉型,擁抱新零售,大潤發計劃兩年內將IT系統全面遷移到阿里云上,不再自建IDC。同時與阿里云合作啟動數據中臺項目,可以幫助大潤發降低TCO的同時,更好的依托云上生態,實現數據資產業務化閉環。
客戶需求
基于Hadoop開源生態打造,軟硬件維護成本高昂,穩定性問題不斷,嚴重影響業務經營分析。
線上業務爆發,需求積壓嚴重,期望有整體解決方案,能夠快速靈活支持業務發展所需的技術擴展。
價值體現
通過MMA工具,15天完成400TB+歷史數據遷移,同時保證了遷移的準確性,讓客戶擁有平滑高效的上云體驗。基于飛天大數據平臺產品DataWorks+MaxCompute大大提高了數據業務的開發效率,構建大潤發的數據中臺體系。
新金融行業:某互聯網金融公司湖倉一體案例
客戶架構如下。
客戶簡介
公司的第一代數據湖是基于Hadoop + OSS搭建的,同時引入的數據中臺的執行引擎和存儲是 MaxCompute,兩套異構的執行引擎帶來存儲冗余、元數據不統一、權限不統一、湖倉計算不能自由流動的問題。
客戶需求
如架構圖所示,MaxCompute和EMR不同引擎用于不同的業務場景,使用阿里云數據湖構建DLF統一做元數據管理和統一用戶權限管理。通過DataWorks進行全鏈路數據治理,提升數據質量與應用能力。
價值體現
將EMR的元數據統一到DLF,底層使用OSS作統一存儲,并通過湖倉一體打通EMR數據湖和MaxCompute數倉兩套體系,讓數據和計算在湖和倉之間自由流動。
實現湖倉數據分層存儲。數據中臺對數據湖數據進行維度建模的中間表存儲在MaxCompute上,EMR或其他引擎消費ADS層。
新能源:某能源客戶基于DataWorks全鏈路數據治理案例
客戶架構如下。
客戶簡介
多家子公司經過多年建設,系統數量多,技術路線復雜多樣。
數據分散,數據標準定義混亂,各類數據出現斷層,無法有效用于分析。
數據管理權責不明,缺乏數據治理,沒有有效的數據共享機制。
客戶需求
通過DataWorks+MaxCompute搭建數據中臺,打破數據孤島。
通過Realtime Compute+MaxCompute交互式分析(Hologres)提升數據中臺實時性。
通過DataWorks進行全鏈路數據治理,提升數據質量與應用能力。
價值體現
打造B2B智慧營銷系統,實現智能制造+互聯網模式落地。
打造離線實時一體化數據中臺,構建統一、完整的大數據應用鏈路,服務內部幾大核心業務。
全鏈路數據治理提高數據可用性,讓數據在中臺進行自由流動,保證數據準確、準時、一致,成本削減1億元。
提高業務迭代效率,數據更新頻率由1天變成10分鐘,新需求上線由1周變成1天。
互聯網行業:快狗打車云上大數據倉庫
客戶架構如下。
客戶簡介
快狗打車則一直堅持通過“連接網絡化”、“運力共享化”、“過程數據化”、“匹配智能化”等數字信息化解決方案,將閑散運力統一整合到平臺上,通過大數據將運力精準匹配市場需求,實現運力的節能減排,降低空駛率,有效提升行業運行效率,積極推動綠色物流發展。
客戶需求
海量數據處理效率下降,離線數據計算時長不穩定。
實時計算開發維護成本高,希望對數倉進行綜合治理。
價值體現
基于飛天大數據平臺產品,快狗打車不僅機器成本節約30%以上,數據開發效率提升100%。從Java Storm遷移到Flink SQL使實時計算開發周期大大減少,維護更加容易,數據一致性得到更好地保障,提升了業務監控大屏的準確性和實時性,用戶可以更專注于業務,加速了業務的實時化。同時,阿里云的24小時運維服務保證了集群穩定,實現了零故障。
互聯網行業:寶寶樹云上大數據倉庫
客戶架構如下。
客戶簡介
寶寶樹成立于2007年,是中國最大、最活躍的母嬰類社區平臺。作為最早做互聯網2C的社區平臺之一,寶寶樹很早就建立了自己的IDC集群,而且規模越來越大。
客戶需求
集群水位高,性能差,亟待大數據綜合治理。
IDC大數據每年投入成本高,希望降本提效。
價值體現
從大數據平臺上云整體“降本增效”的方案快速切入,遷移到大數據MaxCompute、實時計算、DataWorks后,部分任務有10倍以上的性能提升,存儲從自建Hadoop 3PB降到900T,利用Flink實時數據處理能力,將寶寶樹現有的場景實時化(“基于用戶ID維度和內容類型的實時行為”、“獲取用戶的實時群聊ID”及“獲取文章的實時發布信息”),并且基于Flink進行實時推薦增加轉化率。大數據平臺整體成本節省30%以上。
游戲行業:DeNA中國游戲全鏈路運營
客戶架構如下。
客戶簡介
DeNA是優秀的網絡服務公司,隨著游戲項目的生命周期越來越短,項目的各個階段走向實時、精準的把控,需要構建經濟、高效的精細化數據運營體系。
客戶需求
存在Hadoop1.0、2.0兩個集群,技術架構復雜,平臺的穩定性和安全性、資源的彈性伸縮能力都遇到了瓶頸。
日志來源渠道多,實時性要求高,基于fluentd的文件采集服務,隨著日志量的增多,性能、穩定性存在明顯瓶頸。
“人肉腳本”的數據開發方式,業務支持效率低,且hive計算性能無法滿足需求。
價值體現
DeNA中國是游戲行業首家應用閃電立方+MMA工具項目,在無專線等環境下,1個多月就完成10年增量RDS庫300TB+歷史數據50TB的數據遷移,具備較高的技術復雜度。相較之前客戶基于python開源的airflow任務管理系統來說,DataWorks擁有以下優勢:
任務管理一目了然,任務出錯定位以及即時跳轉到相關任務代碼修復。
數據源一次性管理,不需要重復勞動,可被多種數據服務需求使用游戲業務擁有上百個數據源。
整體技術下沉,使得資源調度等都不需要自己耗費精力和"額外"的coding,而實現專注于管理開發。
遷移完成后,飛天大數據平臺覆蓋數據采集>存儲&計算>實時/離線分析等游戲數據運營全鏈路。
游戲行業:37手游重構數據體系建設
客戶簡介
37手游致力于手機游戲發行業務,在中國大陸地區,存在近10%的市場占有率。迄今為止,成功發行二十余款優秀作品,累計為超過4億游戲玩家提供過服務,累計發行運營游戲超2000+款。龐大的運營計數會產生海量數據,需做好數據分析,為游戲運營提供更好的數據服務。
客戶需求
希望優化數據體系結構,解決如下難點、痛點問題:
業務團隊對全域數據資產無感知,且數據需求響應時間長。
組件繁多,運維、開發成本高。
晝夜資源使用量不均,資源利用率低。
擴展性差,擴容、升級存在一定難度和風險。
數據質量難保證。
價值體現
通過統一計算引擎、統一管理及運維、打通AI及BI,提升數據利用率、做到降本增效。同時,構建自助數據分析平臺,快速滿足各類人員不同數據分析需求。數據體系整體上云,使用少量組件即可實現流批一體、湖倉一體,完成從數據驅動到數智驅動,極大發揮數據價值。
視頻介紹
社交媒體行業:歡聚時代大規模數據湖建設
客戶簡介
歡聚時代成立于2005年,是全球領先的社交媒體企業,旗下運營多款社交娛樂產品,包括即時通訊、電商業務等。目前基于Hadoop+HDFS開源架構進行離線(HDFS+Spark)、實時計算(Flink+中間件),該架構在運行中存在性能瓶頸及彈性能力弱等問題,無法很好的滿足當前業務需要。
客戶需求
改善自建架構如下問題:
資源成本高、彈性能力弱,資源無法按量使用彈性擴展,并且擴容時間長。
基礎設施底層服務需專門人員維護,性能瓶頸及運維人力成本高。
服務版本升級困難。
價值體現
通過統一存儲、統一元數據、計算與存儲分離、計算資源彈性擴縮容,使系統整體架構更加靈活,并減少成本。同時,實現流批一體,做到秒級查詢,使開發、維護及對數更加簡單。解決原有性能瓶頸及彈性能力弱等問題。
視頻介紹