表格存儲(Tablestore)面向海量結構化數據提供Serverless表存儲服務,同時針對物聯網場景深度優化提供一站式的IoTstore解決方案。適用于海量賬單、IM消息、物聯網、車聯網、風控、推薦等場景中的結構化數據存儲,提供海量數據低成本存儲、毫秒級的在線數據查詢和檢索以及靈活的數據分析能力。
前置概念
閱讀本文前,您可能需要了解如下概念:
基本概念
在使用表格存儲前,您需要了解以下基本概念。
術語 | 說明 |
地域 | 地域(Region)物理的數據中心,表格存儲服務會部署在多個阿里云地域中,您可以根據自身的業務需求選擇不同地域的表格存儲服務。更多信息,請參見表格存儲已經開通的Region。 |
讀寫吞吐量 | 讀吞吐量和寫吞吐量的單位為讀服務能力單元和寫服務能力單元,服務能力單元(Capacity Unit,簡稱CU)是數據讀寫操作的最小計費單位。更多信息,請參見讀寫吞吐量。 |
實例 | 實例(Instance)是使用和管理表格存儲服務的實體,每個實例相當于一個數據庫。表格存儲對應用程序的訪問控制和資源計量都在實例級別完成。更多信息,請參見實例。 |
服務地址 | 每個實例對應一個服務地址(EndPoint),應用程序在進行表和數據操作時需要指定服務地址。更多信息,請參見服務地址。 |
數據生命周期 | 數據生命周期(Time To Live,簡稱TTL)是數據表的一個屬性,即數據的存活時間,單位為秒。表格存儲會在后臺對超過存活時間的數據進行清理,以減少您的數據存儲空間,降低存儲成本。更多信息,請參見數據版本和生命周期。 |
數據存儲模型
表格存儲提供了寬表(WideColumn)模型、時序(TimeSeries)模型和消息(Timeline)模型三種數據存儲模型,請根據使用場景選擇合適的模型。不同數據存儲模型支持的功能特性請參見功能特性。
模型 | 描述 |
寬表模型 | 類Bigtable/HBase模型,可應用于元數據、大數據等多種場景,支持數據版本、生命周期、主鍵列自增、條件更新、局部事務、原子計數器、過濾器等功能。更多信息,請參見寬表模型。 |
時序模型 | 針對時間序列數據的特點進行設計的模型,可應用于物聯網設備監控、設備采集數據、機器監控數據等場景,支持自動構建時序元數據索引、豐富的時序查詢能力等功能。更多信息,請參見時序模型。 |
消息模型 | 針對消息數據場景設計的模型,可應用于IM、Feed流等消息場景。能滿足消息場景對消息保序、海量消息存儲、實時同步的需求,同時支持全文檢索與多維度組合查詢。更多信息,請參見消息模型。 |
產品計費
表格存儲支持預留模式(預付費)和按量模式(后付費)兩種計費模式,詳細說明請參見下表。
計費模式 | 描述 |
VCU模式(原預留模式) | 按照資源評估結果預先購買預留VCU或開啟彈性能力后按實際使用量支付計算性能消耗費用。您可以疊加使用預留VCU和彈性能力來節約成本。
此模式能為用戶節省更多的計算資源支付費用。同時此模式也通過配置彈性能力上限或關閉彈性能力保障整體使用資源可控,避免異常流量導致的額外費用,是對于成本可控場景的更優選擇。 說明 關于評估選型的更多信息,請參見資源預估選型。 計費項包括計算能力、數據存儲量和外網下行流量,其中數據存儲量包括高性能存儲、容量型存儲和多元索引存儲。更多信息,請參見計量計費項。 |
CU模式(原按量模式) | 根據業務的實時讀寫吞吐量、存儲空間等資源計費,無需提前規劃硬件資源消耗。 此模式適用于業務峰谷變化較大,不可預測的場景。CU模式(原按量模式)提供的彈性能力能夠保障應用系統應對突發流量,是對于業務穩定場景的更優選擇。 重要 CU模式(原按量模式)下當前無法控制整體資源的使用上限,需要業務層來自行管控避免異常流量與使用導致的表格存儲資源開銷。 計費項包括讀吞吐量、寫吞吐量、數據存儲量和外網下行流量。更多信息,請參見計量計費項。 |
使用方式
您可以通過如下方式使用表格存儲產品。
使用方式 | 描述 |
控制臺 | 阿里云提供的Web服務頁面,方便您便捷地操作表格存儲。更多信息,請參見表格存儲控制臺。 |
SDK | 支持主流開發語言Java、Go、Python、Node.js.、.Net和PHP。更多信息,請參見SDK概覽。 |
命令行工具 | 支持通過簡單的命令操作表格存儲。更多信息,請參見命令行工具。 |
快速入門
通過控制臺或者命令行工具,您可以快速體驗寬表模型中數據表或者時序模型中時序表的操作。更多信息,請參見快速入門。
計算與分析
表格存儲支持通過MaxCompute、Spark、Hive或者HadoopMR、函數計算、Flink以及表格存儲SQL查詢進行計算與分析,請根據實際場景選擇相應分析工具。
分析工具 | 適用模型 | 操作 | 描述 |
MaxCompute | 寬表模型 | 通過MaxCompute客戶端為表格存儲的數據表創建外部表,即可訪問表格存儲中的數據。 | |
Spark | 寬表模型 | 使用Spark計算引擎時,支持通過E-MapReduce SQL或者DataFrame編程方式訪問表格存儲。 | |
Hive或者HadoopMR | 寬表模型 | 使用Hive或者HadoopMR訪問表格存儲中的數據。 | |
函數計算 | 寬表模型 | 通過函數計算訪問表格存儲,對表格存儲增量數據進行實時計算。 | |
Flink |
| 通過實時計算Flink訪問表格存儲中的源表、維表或者結果表,實現大數據實時計算與分析。 目前數據表支持作為源表、維表或者結果表,時序表只支持作為結果表。 | |
PrestoDB | 寬表模型 | 使用PrestoDB對接Tablestore后,基于PrestoDB on Tablestore您可以使用SQL查詢與分析Tablestore中的數據、寫入數據到Tablestore以及導入數據到Tablestore。 | |
表格存儲多元索引 | 寬表模型 | 多元索引基于倒排索引和列式存儲,可以解決大數據的多維查詢和統計分析難題。當日常業務中有非主鍵列查詢、多列組合查詢、模糊查詢等多維查詢需求,以及求最值、統計行數、數據分組等數據分析需求時,您可以將這些屬性作為多元索引中的字段,并使用多元索引查詢與分析數據。 | |
表格存儲SQL查詢 |
| SQL查詢為多數據引擎提供統一的訪問接口。通過SQL查詢功能,您可以對表格存儲中數據進行復雜的查詢和高效的分析。 |
遷移同步
您可以將異構數據平滑遷移同步到表格存儲,還可以將表格存儲數據同步到對象存儲OSS(Object Storage Service)等服務中。
分類 | 數據同步 | 描述 |
數據導入 | 使用DataX、DTS、canal工具或者Tapdata Cloud將MySQL數據庫中的數據同步遷移到表格存儲中。 | |
基于Tablestore Sink Connector將Apache Kafka中的數據批量導入到表格存儲的數據表或者時序表中。 | ||
通過Tapdata Cloud的可視化界面,您可以將Oracle數據實時同步到表格存儲中。 | ||
使用DataX將HBase數據庫中的全量數據同步到表格存儲中。 | ||
使用DataWorks將MaxCompute中的全量數據同步到表格存儲中。 | ||
使用通道服務、DataWorks或者DataX將表格存儲數據表中數據同步到另一個數據表中。 | ||
使用DataWorks工具將表格存儲時序表中的全量數據或者增量數據同步到另一個時序表。 | ||
數據導出 | 使用DataWorks將表格存儲中的全量數據或者增量數據導出到MaxCompute。 | |
使用DataWorks將表格存儲中的全量數據或者增量數據導出到OSS。 | ||
使用命令行工具或者DataX工具直接下載數據到本地文件。您也可以使用DataWorks工具將數據同步到OSS后再在OSS側下載數據到本地文件。 |
更多功能
如果要控制用戶的訪問權限,您可以使用訪問控制RAM自定義權限實現。更多信息,請參見通過RAM Policy為RAM用戶授權。
您還可以通過資源目錄的管控策略、表格存儲Network ACL、表格存儲實例策略進一步限制用戶的訪問權限。更多信息,請參見權限控制概述。
如果要保證數據存儲安全和網絡訪問安全,您可以使用數據表加密、VPC網絡訪問等方式實現。更多信息,請參見數據加密和網絡安全管理。
如果要防止重要數據被誤刪除,您可以使用數據備份功能實現定期備份重要數據。更多信息,請參見備份Tablestore數據。
如果要為監控指標配置報警通知,您可以使用云監控實現。更多信息,請參見數據監控與報警。
如果要以圖表等形式可視化展示數據,您可以使用DataV或者Grafana實現。更多信息,請參見數據可視化工具。
常見問題
技術支持
表格存儲為您提供專業的免費的技術咨詢服務,歡迎通過釘釘加入相應交流群。
為互聯網應用、大數據、社交應用等開發者提供的最新技術交流群有36165029092(
表格存儲技術交流群-3
)。說明表格存儲用戶群11789671(
表格存儲技術交流群
)和23307953(表格存儲技術交流群-2
)已滿,暫時無法加入。為物聯網和時序模型開發者提供的技術交流群有44327024(
物聯網存儲 IoTstore 開發者交流群
)。