客戶(hù)感言

2019年開(kāi)始上海市新能源汽車(chē)大數(shù)據(jù)平臺(tái)從自建Hadoop集群遷移至阿里云Lindorm產(chǎn)品，有效解決了我們平臺(tái)存儲(chǔ)和計(jì)算的橫向動(dòng)態(tài)擴(kuò)容瓶頸，同時(shí)借助其產(chǎn)品中間件LTS實(shí)現(xiàn)了我們平臺(tái)數(shù)據(jù)的冷熱分離，有效降低了數(shù)據(jù)存儲(chǔ)成本，依托于阿里云強(qiáng)大豐富的技術(shù)生態(tài)解決了我們的諸多技術(shù)壁壘，使得我們的技術(shù)團(tuán)隊(duì)專(zhuān)注于業(yè)務(wù)開(kāi)發(fā)。

客戶(hù)簡(jiǎn)介

上海市新能源汽車(chē)公共數(shù)據(jù)采集與監(jiān)測(cè)研究中心（以下簡(jiǎn)稱(chēng)“數(shù)據(jù)中心”）是2014年底由上海市社會(huì)團(tuán)體管理局批準(zhǔn)注冊(cè)成立，由上海市經(jīng)濟(jì)和信息化委員會(huì)負(fù)責(zé)業(yè)務(wù)指導(dǎo)，是上海市的新能源汽車(chē)市級(jí)監(jiān)管平臺(tái)，其主要職責(zé)是對(duì)上海市推廣的全部新能源汽車(chē)進(jìn)行數(shù)據(jù)采集和分析應(yīng)用，以支撐政府政策制訂和安全監(jiān)管。截至2021年1月31日，數(shù)據(jù)中心累計(jì)接入新能源汽車(chē)41.8萬(wàn)輛，涉及車(chē)企95家，品牌107個(gè)，車(chē)型777款，數(shù)據(jù)存儲(chǔ)量突破1個(gè)PB，數(shù)據(jù)規(guī)模繼續(xù)處于全球城市前列。成立以來(lái)，數(shù)據(jù)中心在多源數(shù)據(jù)融合應(yīng)用方面做了許多探索，陸續(xù)建成了 “上海市新能源汽車(chē)大數(shù)據(jù)平臺(tái)”、“上海市動(dòng)力電池溯源管理平臺(tái)”、“上海市加氫站與氫燃料電池汽車(chē)公共數(shù)據(jù)平臺(tái)”、 “GEF6上海能源管理中心平臺(tái)”，有效發(fā)揮了數(shù)據(jù)在車(chē)輛安全監(jiān)管、動(dòng)力電池全生命周期監(jiān)管、燃料電池汽車(chē)補(bǔ)貼發(fā)放等方面工作的支撐作用。

業(yè)務(wù)挑戰(zhàn)

• 國(guó)家政策支持，保有車(chē)輛數(shù)量快速增長(zhǎng)。

• 電動(dòng)車(chē)作為一個(gè)新生事物，還處于不斷發(fā)展中，數(shù)據(jù)采集點(diǎn)有不斷變化的需求。

• 為滿足分析及上層業(yè)務(wù)訴求，采集頻率也有不斷變化的需求，采集頻率的提高往往意味著吞吐量、數(shù)據(jù)量翻倍甚至數(shù)量級(jí)提升。

• 國(guó)家對(duì)于電動(dòng)車(chē)數(shù)據(jù)的保存年限做了規(guī)范性要求。

• 海量采集數(shù)據(jù)有實(shí)時(shí)歸檔到離線數(shù)倉(cāng)案并分析的需求。

• 數(shù)據(jù)分析結(jié)果有服務(wù)化的需求，需要回流到在線存儲(chǔ)。

解決方案

• Lindorm歷經(jīng)阿里眾多核心服務(wù)的大規(guī)模驗(yàn)證，擁有相關(guān)技術(shù)領(lǐng)域的技術(shù)團(tuán)隊(duì)，保障了使用過(guò)程的持續(xù)穩(wěn)定、可靠，構(gòu)建起堅(jiān)實(shí)的離在線存儲(chǔ)底座，使得客戶(hù)可以聚焦于業(yè)務(wù)側(cè)的發(fā)展。

• Lindorm寬表引擎批量提交優(yōu)化，大幅度提升集群吞吐量、降低請(qǐng)求響應(yīng)時(shí)間，性能提升3倍以上。

  

• 開(kāi)啟Lindorm寬表引擎壓縮優(yōu)化特性，顯著減少存儲(chǔ)空間開(kāi)銷(xiāo)。

• 基于Lindorm HDFS大數(shù)據(jù)存儲(chǔ)方案，滿足海量數(shù)據(jù)ETL和分析需求。

  

• 計(jì)算引擎可以滿足在線交互式查詢(xún)、流處理、批處理、機(jī)器學(xué)習(xí)等業(yè)務(wù)訴求。

客戶(hù)價(jià)值

• Lindorm寬表引擎批量寫(xiě)入、高效壓縮，線性擴(kuò)展等特性使得數(shù)據(jù)采集入庫(kù)性能更高、成本更低，很好的支撐了業(yè)務(wù)的快速發(fā)展，對(duì)于采集點(diǎn)&采集頻率變更帶來(lái)的流量突增也可以從容應(yīng)對(duì)。

• 通過(guò)APP->Lindorm寬表引擎->LTS實(shí)時(shí)歸檔->parquet列存（Lindorm HDFS）->計(jì)算引擎->bulkload->Lindorm這樣一條鏈路形成了數(shù)據(jù)存儲(chǔ)、實(shí)時(shí)歸檔、分析、數(shù)據(jù)回流、分析后數(shù)據(jù)查詢(xún)的全鏈路數(shù)據(jù)閉環(huán)，滿足業(yè)務(wù)發(fā)展的訴求。