日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關鍵字查找
首頁 云數據庫 SelectDB 版 操作指南 開發指南 性能測試 TPC-DS Benchmark

TPC-DS Benchmark

更新時間：
產品詳情
我的收藏

云數據庫 SelectDB 版旨在提供卓越的性能和便捷的數據分析服務，在寬表聚合、多表關聯以及高并發點查等場景下均具有優異的性能表現。本文將為您介紹，在Linux環境下，如何使用TPC-DS標準測試SelectDB復雜查詢的性能以及測試結果。

概述

TPC-DS（Transaction Processing Performance Council Decision Support Benchmark）是由TPC（Transaction Processing Performance Council）組織開發的，以決策支持為重點的基準測試，旨在評估不同系統在處理復雜查詢和大規模數據分析方面的性能。

TPC-DS的設計目標是模擬現實業務中的復雜決策。它通過一系列復雜的查詢和數據操作來測試系統的性能，所涉及的查詢類型包括聯接、聚合、排序、過濾、子查詢等。這些查詢涵蓋了從簡單到復雜的各種場景，例如如報表生成、數據挖掘、OLAP（聯機分析處理）等。

前提條件

SelectDB實例版本大于等于4.0。

準備工作

  • 確保將安裝TPC-DS測試工具的目標服務器與SelectDB實例網絡互通：

    1. 為SelectDB實例申請公網地址。具體操作，請參見申請和釋放公網地址。

      如果您將要安裝TPC-DS測試工具的目標服務器為阿里云服務器，且該服務器與云數據庫 SelectDB 版實例位于同一VPC下，跳過此步驟。

    2. 將要安裝TPC-DS測試工具的目標服務器的IP地址添加至云數據庫 SelectDB 版的白名單。具體操作，請參見設置白名單。

  • 確保您將要TPC-DS測試工具的目標服務器已安裝了MySQL服務。

    如果您還未安裝MySQL服務，可使用以下指令，安裝MySQL服務。

    yum install mysql

  • 準備目標庫。

    如果您已有目標庫，跳過此操作。

    1. 連接實例，具體操作，請參見通過DMS連接云數據庫SelectDB版實例。

    2. 建庫。建庫語句如下：

      CREATE DATABASE <db_name>;

測試環境

  • SelectDB數據庫環境。

    環境配置項

    配置說明

    地域和可用區

    華東1（杭州）地域，可用區K。

    規格

    64核512 GB

    磁盤

    800 GB高性能云硬盤

    云數據庫 SelectDB 版內核版本

    4.0.3

  • 客戶端環境。

    環境配置項

    配置說明

    下載測試工具的設備

    云服務器ECS實例，詳情請參見創建實例。

    地域和可用區

    華東1（杭州）地域

    實例規格

    ecs.g7.2xlarge

    操作系統

    Ubuntu 22.04.1 LTS

    網絡

    與云數據庫 SelectDB 版版實例為相同專有網絡（VPC）。

測試數據集

說明

TPC-DS的標準測試數據集通常和實際業務場景差距較大，并且部分測試會針對測試數據集進行參數調優。所以標準測試數據集的測試結果僅能反映數據庫在特定場景下的性能表現。建議您使用實際業務數據進行進一步的測試。

此次測試TPC-DS會生成100 GB和1000 GB的數據，并將其導入SelectDB，以進行SelectDB的性能測試。以下是關于測試數據集為1000 GB數據表的相關說明。

TPC-DS表名

行數

customer_demographics

1,920,800

reason

65

warehouse

20

date_dim

73,049

catalog_sales

1,439,980,416

call_center

42

inventory

783,000,000

catalog_returns

143,996,756

household_demographics

7,200

customer_address

6,000,000

income_band

20

catalog_page

30,000

item

300,000

web_returns

71,997,522

web_site

54

promotion

1,500

web_sales

720,000,376

store

1,002

web_page

3,000

time_dim

86,400

store_returns

287,999,764

store_sales

2,879,987,999

ship_mode

20

customer

12,000,000

操作步驟

步驟一：安裝TPC-DS測試工具

  1. 下載瑤池測試工具。

    wegt https://selectdb-customers-tools-bj.oss-cn-beijing.aliyuncs.com/yaochi_performance_tool.tar.gz

  2. 解壓工具文件。

    tar -zxvf yaochi_performance_tool.tar.gz

  3. 在測試工具安裝目錄yaochi_performance_tool/tpcds-tools/bin/下，執行以下腳本以下載并編譯tpcds-tools工具。

    bash build-tpcds-tools.sh

步驟二：生成TPC-DS測試集

在測試工具安裝目錄yaochi_performance_tool/tpcds-tools/bin/下，執行下腳本以生成TPC-DS數據集。

bash gen-tpcds-data.sh -s 1000

測試集數據會保存在tpcds-data目錄下以.dat為后綴的文件中。

步驟三：使用腳本為SelectDB實例創建TPC-DS測試表

  1. 配置SelectDB實例信息。

    在執行建表腳本前，需要在doris-cluster.conf文件中，配置SelectDB實例的相關信息。該文件位于測試工具安裝目錄yaochi_performance_tool/tpcds-tools/conf/下，具體參數信息如下。

    參數名稱

    參數描述

    FE_HOST

    SelectDB實例的訪問地址。

    您可以從SelectDB控制臺的實例詳情中的網絡信息中獲取實例的VPC地址或公網地址。

    FE_HTTP_PORT

    SelectDB實例的HTTP協議端口。

    您可以從SelectDB控制臺的實例詳情中的網絡信息中獲取實例的HTTP協議端口。

    FE_QUERY_PORT

    您可以從SelectDB控制臺的實例詳情中的網絡信息中獲取實例的MySQL協議端口

    USER

    SelectDB實例賬號。

    創建SelectDB實例后，系統會默認為您創建admin賬號。

    PASSWORD

    SelectDB實例賬號的密碼。

    如果您的USER配置的是admin賬號，但您忘記了此賬號的密碼，您可以在控制臺上重置賬號密碼。

    DB

    SelectDB實例中待導入數據的庫名。

  2. 建表 。

    在測試工具安裝目錄yaochi_performance_tool/tpcds-tools/bin/下，執行以下腳本，創建用以測試的表。腳本執行完成后，SelectDB的目標庫中，會生成上述測試數據集中的表。

    bash create-tpcds-tables.sh -s 1000

步驟四：導入數據至SelectDB

在測試工具安裝目錄yaochi_performance_tool/tpcds-tools/bin/下，執行以下腳本，完成TPC-DS測試集所有數據的導入至SelectDB。

bash load-tpcds-data.sh

步驟五：測試查詢性能

您可以執行TPC-DS測試SQL的相關腳本，批量執行測試集的SQL，具體操作如下：

在測試工具安裝目錄yaochi_performance_tool/tpcds-tools/bin/下，執行以下腳本。

bash run-tpcds-queries.sh -s 1000

腳本執行完畢后，控制臺窗口將顯示測試集中每個SQL在SelectDB中的性能情況。具體測試結果，請參見測試結果。

您也可以對SelectDB執行某個SQL的性能進行測試，具體操作如下：

說明

TPCDS-Query-SQL中的SQL也是上述通過腳本批量測試中執行的SQL。

測試結果

以下為TPC-DS 100 GB和1000 GB的測試結果。

Query

TPC-DS 100GB（s）

TPC-DS 1000GB（s）

Q1

0.19

1.01

Q2

1.12

8.54

Q3

0.12

0.65

Q4

2.15

21.06

Q5

0.29

1.17

Q6

0.13

0.33

Q7

0.21

1.11

Q8

0.14

0.55

Q9

1.56

13.48

Q10

0.2

0.71

Q11

1.26

12.44

Q12

0.08

0.19

Q13

0.25

1.27

Q14

1.64

12.85

Q15

0.11

0.73

Q16

0.76

0.68

Q17

0.37

1.69

Q18

0.22

1.17

Q19

0.11

0.41

Q20

0.09

0.23

Q21

0.07

0.12

Q22

2.25

4.18

Q23

3.33

39.14

Q24

0.71

9.71

Q25

0.32

1.05

Q26

0.13

0.41

Q27

0.2

1.03

Q28

1.32

12.02

Q29

0.31

1.35

Q30

0.12

0.48

Q31

0.47

4.91

Q32

0.05

0.1

Q33

0.27

0.75

Q34

0.34

1.44

Q35

0.42

2.36

Q36

0.61

0.91

Q37

0.06

0.13

Q38

1.43

11.23

Q39

0.34

0.6

Q40

0.08

0.19

Q41

0.04

0.04

Q42

0.08

0.19

Q43

0.32

2.14

Q44

0.54

3.99

Q45

0.1

0.55

Q46

0.41

4.62

Q47

0.82

6.13

Q48

0.24

1.03

Q49

0.3

1.23

Q50

0.26

1.93

Q51

4.01

11.87

Q52

0.07

0.22

Q53

0.12

0.59

Q54

0.34

2.6

Q55

0.07

0.22

Q56

0.23

0.61

Q57

0.59

3.38

Q58

0.21

0.48

Q59

1.69

15.65

Q60

0.24

0.74

Q61

0.12

1

Q62

0.26

1.98

Q63

0.12

0.46

Q64

0.55

4.91

Q65

1.33

10.39

Q66

0.21

0.86

Q67

6.87

59.04

Q68

0.37

4.44

Q69

0.23

0.68

Q70

0.78

5.54

Q71

0.22

0.74

Q72

2.66

8.81

Q73

0.24

1.27

Q74

1.57

10.5

Q75

1.13

8.73

Q76

0.35

4.86

Q77

0.25

0.74

Q78

2.89

31.02

Q79

0.39

8.42

Q80

0.34

1.07

Q81

0.15

0.84

Q82

0.09

0.72

Q83

0.14

0.3

Q84

0.07

0.22

Q85

0.25

0.45

Q86

0.2

1.36

Q87

1.55

13.14

Q88

1.5

12.36

Q89

0.17

0.88

Q90

0.11

0.41

Q91

0.1

0.16

Q92

0.04

0.07

Q93

0.31

5.4

Q94

0.34

0.57

Q95

0.21

0.8

Q96

0.2

1.41

Q97

1.26

13.26

Q98

0.16

0.43

Q99

0.48

4.13