Paimon
Apache Paimon是一種流批統(tǒng)一的湖存儲格式,支持高吞吐的寫入和低延遲的查詢。目前阿里云開源大數(shù)據(jù)平臺E-MapReduce常見的計算引擎(例如Flink、Spark、Hive或Trino)都與Paimon有著較為完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上構建自己的數(shù)據(jù)湖存儲服務,并接入上述計算引擎實現(xiàn)數(shù)據(jù)湖的分析。
目前Apache Paimon提供以下核心能力:
基于HDFS或者對象存儲構建低成本的輕量級數(shù)據(jù)湖存儲服務。
支持在流模式與批模式下讀寫大規(guī)模數(shù)據(jù)集。
支持分鐘級到秒級數(shù)據(jù)新鮮度的批查詢和OLAP查詢。
支持消費與產(chǎn)生增量數(shù)據(jù),可作為傳統(tǒng)數(shù)倉與流式數(shù)倉的各級存儲。
支持預聚合數(shù)據(jù),降低存儲成本與下游計算壓力。
支持歷史版本回溯。
支持高效的數(shù)據(jù)過濾。
支持表結構變更。
更多信息,請參見Apache Paimon。