刪除Delta表不再引用的文件

您可以通過在表上運行vacuum命令來刪除Delta表不再引用且早于保留閾值的文件。vacuum 不會自動觸發。文件的默認保留閾值為7天。

檢索Delta表歷史記錄

您可以通過運行history命令來檢索每次寫入Delta表的操作、用戶、時間戳等信息。以相反的時間順序返回操作。默認情況下，表歷史記錄會保留30天。

SQL

%sql
DESCRIBE HISTORY '/data/events/'          -- get the full history of the table

DESCRIBE HISTORY delta.`/data/events/`

DESCRIBE HISTORY '/data/events/' LIMIT 1  -- get the last operation only

DESCRIBE HISTORY eventsTable

Python

%pyspark
from delta.tables import *

deltaTable = DeltaTable.forPath(spark, pathToTable)

fullHistoryDF = deltaTable.history()    # get the full history of the table

lastOperationDF = deltaTable.history(1) # get the last operation

Scala

%spark
import io.delta.tables._

val deltaTable = DeltaTable.forPath(spark, pathToTable)

val fullHistoryDF = deltaTable.history()    // get the full history of the table

val lastOperationDF = deltaTable.history(1) // get the last operation

有關Spark SQL語法的詳細信息，請參見

• Databricks Runtime 7.0及更高版本：DESCRIBE HISTORY (Delta Lake on Databricks)

• Databricks Runtime 6.x及更低版本：Describe History (Delta Lake on Databricks)

有關Scala，Java和Python語法的詳細信息，請參見API參考。

歷史架構

該history操作的輸出包含以下列。

+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+
|version|          timestamp|userId|userName|operation| operationParameters| job|notebook|clusterId|readVersion|   isolationLevel|isBlindAppend|    operationMetrics|
+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+
|      5|2019-07-29 14:07:47|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          4|WriteSerializable|        false|[numTotalRows -> ...|
|      4|2019-07-29 14:07:41|   ###|     ###|   UPDATE|[predicate -> (id...|null|     ###|      ###|          3|WriteSerializable|        false|[numTotalRows -> ...|
|      3|2019-07-29 14:07:29|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          2|WriteSerializable|        false|[numTotalRows -> ...|
|      2|2019-07-29 14:06:56|   ###|     ###|   UPDATE|[predicate -> (id...|null|     ###|      ###|          1|WriteSerializable|        false|[numTotalRows -> ...|
|      1|2019-07-29 14:04:31|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          0|WriteSerializable|        false|[numTotalRows -> ...|
|      0|2019-07-29 14:01:40|   ###|     ###|    WRITE|[mode -> ErrorIfE...|null|     ###|      ###|       null|WriteSerializable|         true|[numFiles -> 2, n...|
+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+

操作指標鍵

該history操作在operationMetrics列映射中返回操作指標的集合。

下表按操作列出了映射鍵定義。

• 需要Databricks Runtime 7.3或更高版本。

• 需要Databricks Runtime 7.4或更高版本。

檢索Delta表詳細信息

可以使用“描述詳細信息”檢索有關增量表的詳細信息（例如，文件數、數據大小）。

SQL

%sql
DESCRIBE DETAIL '/data/events/'

DESCRIBE DETAIL eventsTable

詳細架構

此操作的輸出只有一行具有以下架構。

+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
|format|                  id|              name|description|            location|           createdAt|       lastModified|partitionColumns|numFiles|sizeInBytes|properties|minReaderVersion|minWriterVersion|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
| delta|d31f82d2-a69f-42e...|default.deltatable|       null|file:/Users/tdas/...|2020-06-05 12:20:...|2020-06-05 12:20:20|              []|      10|      12345|        []|               1|               2|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+

生成清單文件

您可以為Delta表生成清單文件，供其他處理引擎（即Apache Spark以外的其他引擎）用來讀取Delta表。例如，要生成清單文件，Presto和Athena可以使用它們來讀取Delta表，請運行以下命令：

SQL

%sql
GENERATE symlink_format_manifest FOR TABLE delta.`/mnt/events`

GENERATE symlink_format_manifest FOR TABLE eventsTable

Python

%pyspark
deltaTable = DeltaTable.forPath(<path-to-delta-table>)
deltaTable.generate("symlink_format_manifest")

Scala

%spark
val deltaTable = DeltaTable.forPath(<path-to-delta-table>)
deltaTable.generate("symlink_format_manifest")

將Parquet表轉換為Delta表

就地將Parquet表轉換為Delta表。此命令會列出目錄中的所有文件，創建一個Delta Lake事務日志來跟蹤這些文件，并通過讀取所有Parquet文件的頁腳自動推斷數據架構。如果您的數據已分區，則必須將分區列的架構指定為DDL格式的字符串（即）。<column-name1> <type>, <column-name2> <type>, ...

SQL

%SQL
-- Convert unpartitioned parquet table at path '<path-to-table>'
CONVERT TO DELTA parquet.`<path-to-table>`

-- Convert partitioned Parquet table at path '<path-to-table>' and partitioned by integer columns named 'part' and 'part2'
CONVERT TO DELTA parquet.`<path-to-table>` PARTITIONED BY (part int, part2 int)

Python

%pyspark
from delta.tables import *

# Convert unpartitioned parquet table at path '<path-to-table>'
deltaTable = DeltaTable.convertToDelta(spark, "parquet.`<path-to-table>`")

# Convert partitioned parquet table at path '<path-to-table>' and partitioned by integer column named 'part'
partitionedDeltaTable = DeltaTable.convertToDelta(spark, "parquet.`<path-to-table>`", "part int")

Scala

%spark
import io.delta.tables._

// Convert unpartitioned Parquet table at path '<path-to-table>'
val deltaTable = DeltaTable.convertToDelta(spark, "parquet.`<path-to-table>`")

// Convert partitioned Parquet table at path '<path-to-table>' and partitioned by integer columns named 'part' and 'part2'
val partitionedDeltaTable = DeltaTable.convertToDelta(spark, "parquet.`<path-to-table>`", "part int, part2 int")

有關語法的詳細信息，請參見

• Databricks運行時7.0及更高版本：轉換為DELTA（Databricks上的Delta Lake）

• Databricks Runtime 6.x及更低版本：轉換為Delta（Databricks上的Delta Lake）

將Delta表轉換為Parquet表

您可以使用以下步驟輕松地將Delta表轉換回Parquet表：

1. 如果執行了可以更改數據文件的Delta Lake操作（例如delete或merge），請運行vacuum并將保留期限設為0小時，從而刪除表的最新版本中未包含的所有數據文件。

2. 刪除目錄中的_delta_log目錄。

將Delta表還原到較早的狀態

您可以使用以下RESTORE命令將Delta表還原到其早期狀態。Delta表在內部維護該表的歷史版本，以使其能夠還原到較早的狀態。RESTORE命令支持與早期狀態相對應的版本或創建早期狀態的時間戳。

SQL

%sql
RESTORE TABLE db.target_table TO VERSION AS OF <version>
RESTORE TABLE delta.`/data/target/` TO TIMESTAMP AS OF <timestamp>

Python

%pyspark
from delta.tables import *

deltaTable = DeltaTable.forPath(spark, <path-to-table>)  # path-based tables, or
deltaTable = DeltaTable.forName(spark, <table-name>)    # Hive metastore-based tables

deltaTable.restoreToVersion(0) # restore table to oldest version

deltaTable.restoreToTimestamp('2019-02-14') # restore to a specific timestamp

Scala

%spark
import io.delta.tables._

val deltaTable = DeltaTable.forPath(spark, <path-to-table>)
val deltaTable = DeltaTable.forName(spark, <table-name>)

deltaTable.restoreToVersion(0) // restore table to oldest version

deltaTable.restoreToTimestamp("2019-02-14") // restore to a specific timestamp

有關語法的詳細信息，請參見RESTORE（Databricks上的Delta Lake）。

表訪問控制

您必須MODIFY對要還原的表具有權限

克隆 Delta 表

您可以使用以下clone命令以特定版本創建現有Delta表的副本。克隆可以是深層或淺層。

• 深層克隆是指除了現有表的元數據外，還會將源表數據復制到克隆目標的克隆。 此外，它還會克隆流元數據，使寫入 Delta 表的流可在源表上停止，并在克隆的目標位置（即停止位置）繼續進行克隆。

• 淺表克隆不會將數據文件復制到克隆目標。 表元數據等效于源。 創建這些克隆的成本較低。

對深層克隆或淺層克隆所做的任何更改都只會影響克隆本身，而不會影響源表。

克隆的元數據包括：架構，分區信息，不變量，可為Null性。對于深層克隆，還將克隆流和COPY INTO（Databricks上的Delta Lake）元數據。未克隆的元數據是表描述和用戶定義的提交元數據。

SQL

%sql
CREATE TABLE delta.`/data/target/` CLONE delta.`/data/source/` -- Create a deep clone of /data/source at /data/target

 CREATE OR REPLACE TABLE db.target_table CLONE db.source_table -- Replace the target

 CREATE TABLE IF NOT EXISTS TABLE delta.`/data/target/` CLONE db.source_table -- No-op if the target table exists

 CREATE TABLE db.target_table SHALLOW CLONE delta.`/data/source`

 CREATE TABLE db.target_table SHALLOW CLONE delta.`/data/source` VERSION AS OF version

 CREATE TABLE db.target_table SHALLOW CLONE delta.`/data/source` TIMESTAMP AS OF timestamp_expression -- timestamp can be like “2019-01-01” or like date_sub(current_date(), 1)

Python

%pyspark
from delta.tables import *

 deltaTable = DeltaTable.forPath(spark, pathToTable)  # path-based tables, or
 deltaTable = DeltaTable.forName(spark, tableName)    # Hive metastore-based tables

 deltaTable.clone(target, isShallow, replace) # clone the source at latest version

 deltaTable.cloneAtVersion(version, target, isShallow, replace) # clone the source at a specific version

# clone the source at a specific timestamp such as timestamp=“2019-01-01”
 deltaTable.cloneAtTimestamp(timestamp, target, isShallow, replace)

Scala

%spark
import io.delta.tables._

 val deltaTable = DeltaTable.forPath(spark, pathToTable)
 val deltaTable = DeltaTable.forName(spark, tableName)

 deltaTable.clone(target, isShallow, replace) // clone the source at latest version

 deltaTable.cloneAtVersion(version, target, isShallow, replace) // clone the source at a specific version

 deltaTable.cloneAtTimestamp(timestamp, target, isShallow, replace) // clone the source at a specific timestamp

有關語法的詳細信息，請參見CLONE（Databricks上的Delta Lake）

權限

您必須CLONEDatabricks表訪問控制和您的云提供的所需的權限。

表訪問控制

深層和淺層克隆都需要具有以下權限：

• 源表上的SELECT權限

• 如果要CLONE用于創建新表，請對創建表的數據庫具有CREATE權限。

• 如果要CLONE用來替換表，則必須具有該表的MODIFY權限。

云權限

如果創建了深度克隆，則任何讀取該深度克隆的用戶都必須具有對該克隆目錄的讀取權限。要更改克隆，用戶必須具有對克隆目錄的寫入權限。

如果創建了淺表克隆，則讀取淺表克隆的任何用戶都需要權限才能讀取原始表中的文件，因為數據文件保留在源表中，并且包含淺表克隆以及該表的目錄。若要更改克隆，用戶需要對克隆目錄具有寫入權限。

克隆用例

• 數據存檔：數據保存的時間可能會比按時間查看或災難恢復的時間更長。在這些情況下，您可以創建一個深層克隆，保留表的某個時間點的狀態以供存檔。還可以通過增量存檔保留源表的持續更新狀態，以進行災難恢復。

  SQL

  %sql
  -- Every month run
  CREATE OR REPLACE TABLE delta.`/some/archive/path` CLONE my_prod_table

• 機器學習流重現：在進行機器學習時，你可能希望將已訓練 ML 模型的表的特定版本進行存檔。可以使用此存檔數據集測試將來的模型。

  SQL

  %sql
  -- Trained model on version 15 of Delta table
  CREATE TABLE delta.`/model/dataset` CLONE entire_dataset VERSION AS OF 15

• 在生產表上進行短期實驗：為了在不損壞表的情況下測試生產表中的工作流，可以輕松創建淺表克隆。這樣，就可在包含所有生產數據的克隆表上運行任意工作流，而不會影響任何生產工作負載。

  SQL

  %sql
  -- Perform shallow clone
  CREATE OR REPLACE TABLE my_test SHALLOW CLONE my_prod_table;
  
  UPDATE my_test WHERE user_id is null SET invalid=true;
  -- Run a bunch of validations. Once happy:
  
  -- This should leverage the update information in the clone to prune to only
  -- changed files in the clone if possible
  MERGE INTO my_prod_table
  USING my_test
  ON my_test.user_id <=> my_prod_table.user_id
  WHEN MATCHED AND my_test.user_id is null THEN UPDATE *;
  
  DROP TABLE my_test;

• 數據共享：單個組織內的其他業務部門可能希望訪問上述的數據，但可能不需要最新更新。可以為不同的業務部門提供具有不同權限的克隆，而不是直接授予對源表的訪問權限。克隆的性能比簡單視圖的性能更高。

  SQL

  %sql
  -- Perform deep clone
  CREATE OR REPLACE TABLE shared_table CLONE my_prod_table;
  
  -- Grant other users access to the shared table
  GRANT SELECT ON shared_table TO `<user-name>@<user-domain>.com`;