日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Delta Table概述

MaxCompute Delta Table是MaxCompute推出的增量數據表格式。Delta Table支持分鐘級數據導入,底層使用AliORC作為文件格式,支持UPSERT語義,并能夠提供按照CDC(Change Data Capture)格式讀寫增量數據。Delta Table依賴于MaxCompute存儲服務和元數據服務,自動進行數據管理。本文概要介紹MaxCompute Delta Table的基礎功能。

  • Delta Table格式說明

    • 新增 表數據格式,可高效支持增量/全量數據的存儲和讀寫,如設置主鍵,則可支持實時數據更新能力。

  • 近實時增量導入

    • 支持各數據源全量和近實時增量導入功能:MaxCompute聯合相關產品定制開發多種數據接入工具,例如MaxCompute定制開發的Flink Connector,DataWorks的數據集成等,用來支持高效的近實時增量數據導入。這些工具會對接MaxCompute的數據通道服務Tunnel Server,主要支持高并發分鐘級增量數據寫入。

    • 支持各數據源的增量和全量數據批量寫入:支持MaxCompute SQL以及其它一些接口,用于支持增量和全量數據高效的批量寫入。

  • 數據組織優化

    主要由MaxCompute的Storage Service來負責智能的自動管理增量數據文件,其中包括小文件合并Clustering、數據COMPACTION、數據排序等優化服務。對于其中部分操作,Storage Service會根據數據特征、時序等多個維度綜合評估,自動執行數據優化任務,盡可能保持穩定高效的數據存儲和計算狀態。

  • 事務管理

    主要負責增量場景下事務并發沖突管理、數據版本管理、Time travel管理、元數據更新和分析等。

  • 增量查詢:支持通過SQL語法查詢增量數據。

  • Time Travel:支持通過SQL語法查詢歷史快照,有助于回溯業務歷史數據狀態以及錯誤數據恢復。

  • 基礎操作