Paimon
Apache Paimon是一種流批統一的湖存儲格式,支持高吞吐的寫入和低延遲的查詢。目前阿里云開源大數據平臺E-MapReduce常見的計算引擎(例如Flink、Spark、Hive或Trino)都與Paimon有著較為完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上構建自己的數據湖存儲服務,并接入上述計算引擎實現數據湖的分析。
目前Apache Paimon提供以下核心能力:
基于HDFS或者對象存儲構建低成本的輕量級數據湖存儲服務。
支持在流模式與批模式下讀寫大規模數據集。
支持分鐘級到秒級數據新鮮度的批查詢和OLAP查詢。
支持消費與產生增量數據,可作為傳統數倉與流式數倉的各級存儲。
支持預聚合數據,降低存儲成本與下游計算壓力。
支持歷史版本回溯。
支持高效的數據過濾。
支持表結構變更。
更多信息,請參見Apache Paimon。