您在使用數據湖構建(Data Lake Formation,簡稱DLF)控制臺和接口時,產品做了如下限制,請在使用時注意不要超過相應的限制值,以免出現異常。
數據湖元數據
限制項 | 用戶配額 |
單表QPS | 500 |
單表分區數量 | 100萬 |
數據湖入湖預處理作業
限制項 | 用戶配額 |
用戶入湖作業數量(每個region) | 1000個 |
每個入湖作業最大資源量 | 100CU |
兼容與使用限制說明
以下3種Hive特性不支持,建議采用最新Delta/Hudi/Iceberg方案替代:
不支持 Hive DB Lock manager API
不支持 Hive Db Transaction Manager API
不支持 Hive Constraint:如Primary key/Foreign key
不支持Hive SQL Standards Based Authorization
舊版Hive權限,開源社區已不再發展,建議使用數據湖構建數據權限功能替代
不支持Metastore listener
建議使用阿里云操作審計API,實現對元數據操作的監聽和管理。
不支持Hive LLAP
建議使用Presto/Spark等引擎替代
目前DLF不支持與自建的Hadoop集群集成,如需使用數據湖請選擇阿里云E-MapReduce集群。
文檔內容是否對您有幫助?