方案亮點:千億級船舶軌跡時空分析、多元時空數據整合、開發周期短。
客戶感言
“阿里Ganos產品很好地提升了我們對異構時空數據的處理能力。Lindorm高性能、低延遲、高吞吐、穩定性讓我們節省了不少運維投入,更多精力投入到業務實現上。 ” ——億海藍CTO
客戶簡介
億海藍是中國的航運大數據公司,做為中國最大的AIS數據服務運營商,發展目標是通過大數據技術推動全球航運物流與互聯網的融合,加速航運產業轉型升級。億海藍目前已為全球上百萬行業用戶提供數據服務,客戶涵蓋港口、船公司、物流、金融、保險和設備制造商等多類群體。其中,航運數據可視化分析系統的核心功能,是對用戶關心的航運數據進行分析和報告輸出。輸出形式主要是熱力圖和統計指標。示例使用場景如下:
大宗航線繁忙度分析
鐵礦石LNG等貨種航線分布
港口業務強度分析
內河橫向截面的多航道通行量研究
區域內船舶周期性活動強度研究
對政策面影響區域業務活動強度的研究
業務挑戰
數據訪問要求高效性。一旦數據查詢性能低,可視化體驗就會受到大幅影響。
數據量大,數據提取周期長。億海藍有17年AIS(船舶自動識別系統)數據積累,每日AIS數據增量約10億。用戶需要對歷史年份數據進行分析,時間跨度大。
業務實現技術復雜度高。業務涉及數據種類多,億海藍對這些業務數據使用了多種存儲引擎。
解決方案
DLA Ganos 引擎對不同時空存儲的存取進行了統一封裝,降低編碼難度。
原始數據使用DLA Ganos進行高效預處理,降低數據提取和結果數據再落地時間。
數據抽取結果存儲到Ganos on Lindorm中,Lindorm的低延遲、高性能、高吞吐查詢能力保障業務能流暢顯示。
整體系統架構方案如下圖所示:
航運數據可視化分析系統架構圖如下:
業務價值
通過阿里云產品的支持,縮短了業務的技術實現周期,降低了運維投入。
Ganos on Lindorm高性能查詢指標滿足了業務上低延遲流暢顯示的要求。
不同于軌跡數據,航線數據業務性更強,需要更豐富的存儲和查詢方式。DLA Ganos 滿足了整合分析多種時空數據的需求。
航海業務相對復雜,需要對數據做一些自定義的運算。DLA Ganos內置Spark集群,提供定制處理數據的計算引擎,節省了單獨購買Spark的開支。
提供金字塔式的矢量快顯數據存儲,優化了熱力圖縮放效果。