OpenTSDB協(xié)議兼容性

由于阿里云TSDB底層技術架構同OpenTSDB的實現(xiàn)區(qū)別巨大，對于OpenTSDB的一些運維接口不會兼容。比如OpenTSDB的元數(shù)據(jù)管理接口/api/tree, /api/uid等等。根據(jù)OpenTSDB的官網(wǎng)API Endpoints（HTTP API) ,下表列舉了TSDB的兼容程度。

除此之外，TSDB提供了一些面向時序更友好的接口。包括

性能對比

測試數(shù)據(jù)說明

這里介紹的是用作測試查詢性能的數(shù)據(jù)集。下面將從Metric、時間線、Value和采集周期四個方面來描述：

metric

固定指定一個metric為m。

tagkv

前四個tagkv全排列，形成10 * 20 * 100 * 100 = 2000000條時間線，最后IP對應2000000條時間線從1開始自增。

value

度量值為[1, 100]區(qū)間內的隨機值

interval

采集周期為 10 秒，持續(xù)攝入 3 小時，總數(shù)據(jù)量為3 * 60 * 60 / 10 * 2000000 = 2,160,000,000個數(shù)據(jù)點。

統(tǒng)計結果說明

壓測模式如下：

每次測試進行之前均重啟數(shù)據(jù)庫服務，避免之前的測試操作可能還占用資源。同時對測試操作進行預熱，避免未預熱情況下，首次請求的耗時過長，而影響到RT統(tǒng)計的準確性。

測試環(huán)境說明

機型配置

寫入機型：2C8G

查詢機型：64C256G

HBase機型：8C16G * 5

數(shù)據(jù)庫版本

OpenTSDB：2.3.2+HBase 1.5.0.1

TSDB：2.4.2

寫入性能對比

寫入場景列表

數(shù)據(jù)點寫入的壓力由上述壓測配置可得知，5臺壓測機，每臺壓測機設置目標TPS為1000，則可以提供5000 TPS的寫入壓力。同時，為了確保測試的公平性，TSDB和OpenTSDB均使用同步寫入，并開啟落盤功能。其中，為了體現(xiàn)出不同的采集周期（interval），各個場景寫入數(shù)據(jù)點的時間戳（timestamp），都基于某一時刻（base_time），隨著調用次數(shù)（N）的增加而遞增，即可用公式表示為 timestamp = base_time + interval * N

TSDB 結果

OpenTSDB 結果

性能對比分析

TPS

RT

查詢性能對比

查詢場景列表

數(shù)據(jù)點查詢的壓力，同樣可由上述壓測配置可得知，5 臺壓測機，每臺壓測機設置目標 QPS 為 1000，則可以提供 5000 QPS 的查詢壓力。和寫入不同的是，因為查詢的目標數(shù)據(jù)集相對而言更龐大，如果直接使用 5000 的 QPS 進行壓測，可能會因為查詢隊列滿，出現(xiàn)空跑的情況。因此，為了測試的準確性，這里的 5000 實際上是 QPS 的上限，所有的查詢壓測開始之前，都通過觀察數(shù)據(jù)庫服務端日志和資源消耗情況，確保數(shù)據(jù)庫能正常運作的情況下，進行壓測的。而針對場景五到場景八，這四種涵蓋整個數(shù)據(jù)集的查詢場景，即便將壓測并發(fā)量從 5000 降低到 500、50、5、1 之后，仍然會導致 OpenTSDB 不可用，我們這里使用 N/A 來表示 Not Available 狀態(tài)，并在后續(xù)分析圖表中，使用 0 替代表示。

對應查詢語句

# 5min
{"start":1546272000,"end":1546272300,"queries":[{"aggregator":"count","metric":"m","tags":{"ip":"i1"}}]}
{"start":1546272000,"end":1546272300,"queries":[{"aggregator":"count","metric":"m","tags":{"cluster":"c1","group":"h1","app":"a1"}}]}
{"start":1546272000,"end":1546272300,"queries":[{"aggregator":"count","metric":"m","tags":{"zone":"z1","cluster":"c1","group":"h1"}}]}
{"start":1546272000,"end":1546272300,"queries":[{"aggregator":"count","metric":"m","tags":{"cluster":"c1","group":"h1"}}]}
# 3hour
{"start":1546272000,"end":1546282800,"queries":[{"aggregator":"count","metric":"m","tags":{"ip":"i1"}}]}
{"start":1546272000,"end":1546282800,"queries":[{"aggregator":"count","metric":"m","tags":{"cluster":"c1","group":"h1","app":"a1"}}]}
{"start":1546272000,"end":1546282800,"queries":[{"aggregator":"count","metric":"m","tags":{"zone":"z1","cluster":"c1","group":"h1"}}]}
{"start":1546272000,"end":1546282800,"queries":[{"aggregator":"count","metric":"m","tags":{"cluster":"c1","group":"h1"}}]}

TSDB 結果

OpenTSDB 結果

性能對比分析

QPS

RT

在高并發(fā)情況下（>500），OpenTSDB幾乎處于不可用狀態(tài)，而TSDB仍然可以穩(wěn)定運行。