本文為您介紹FE、BE、Broker以及系統參數的部分配置項以及修改方式。
背景信息
配置項分為動態參數和靜態參數。動態參數主要是FE有部分動態配置,支持在線修改。靜態參數是需要重啟服務生效的配置項。
FE動態參數
動態參數可以通過如下命令修改。
ADMIN SET FRONTEND CONFIG ("key" = "value");
LOG相關配置
配置項 | 默認值 | 描述 |
qe_slow_log_ms | 5000 | Slow query的認定時長,單位為ms。 |
元數據與集群管理相關配置
配置項 | 默認值 | 描述 |
catalog_try_lock_timeout_ms | 5000 | Catalog Lock獲取的超時時長,單位為ms。 |
edit_log_roll_num | 50000 | Image日志拆分大小。 |
ignore_unknown_log_id | FALSE | 是否忽略未知的logID:
當FE回滾到低版本時,可能存在低版本BE無法識別的logID。 |
ignore_meta_check | FALSE | 是否忽略元數據落后的情形:
|
max_backend_down_time_second | 3600 | BE和FE失聯之后,FE能夠容忍BE重新加回來的最長時間,單位為s。 |
drop_backend_after_decommission | TRUE | BE被下線后,是否刪除該BE:
|
查詢引擎相關配置
配置項 | 默認值 | 描述 |
expr_children_limit | 10000 | 查詢中IN謂詞中可以涉及的數目。 |
expr_depth_limit | 3000 | 查詢嵌套的層次。 |
max_allowed_in_element_num_of_delete | 10000 | DELETE語句中IN謂詞最多允許的元素數量。 |
max_layout_length_per_row | 2147483647 | 單行最大的長度。 |
disable_cluster_feature | TRUE | 是否禁用邏輯集群功能:
|
enable_materialized_view | TRUE | 是否允許創建物化視圖:
|
enable_decimal_v3 | TRUE | 是否開啟Decimal V3:
|
enable_sql_blacklist | FALSE | 是否開啟SQL Query黑名單校驗:
說明 如果開啟該功能,則在黑名單中的Query不能被執行。 |
dynamic_partition_check_interval_seconds | 600 | 動態分區檢查的時間周期,單位為s。 |
dynamic_partition_enable | TRUE | 是否開啟動態分區功能:
|
max_partitions_in_one_batch | 4096 | 批量創建分區時,分區數目的最大值。 |
max_query_retry_time | 2 | FE上查詢重試的次數。 |
max_create_table_timeout_second | 60 | 建表最大超時時間,單位為s。 |
max_running_rollup_job_num_per_table | 1 | 每個Table執行Rollup任務的最大并發度。 |
max_planner_scalar_rewrite_num | 10_0000 | 優化器重寫ScalarOperator允許的最大次數。 |
statistics_manager_sleep_time_sec | 60*10 | 自動創建統計信息表的周期,單位為s。 |
statistic_collect_interval_sec | 120*60 | 統計信息功能執行周期,單位為s。 |
statistic_update_interval_sec | 24 *60* 60 | 統計信息Job的默認收集間隔時間,單位為s。 |
statistic_sample_collect_rows | 200000 | 采樣統計信息Job的默認采樣行數,默認為200000行。 |
enable_statistic_collect | TRUE | 統計信息收集功能開關:
|
enable_local_replica_selection | FALSE | 優化器是否優先選擇與該FE相同IP的BE節點上的tablet:
|
max_distribution_pruner_recursion_depth | 100 | 分區裁剪允許的最大遞歸深度。 |
導入和導出相關配置
配置項 | 默認值 | 描述 |
load_straggler_wait_second | 300 | 控制BE副本最大容忍的導入落后時長,單位為s。 如果超過該時長,則進行克隆。 |
desired_max_waiting_jobs | 100 | 最多等待的任務。 適用于所有的任務,例如建表、導入和是Schema Change。 |
max_running_txn_num_per_db | 100 | 并發導入的任務數。 |
max_load_timeout_second | 259200 | 適用于所有導入,單位為s。 |
min_load_timeout_second | 1 | 適用于所有導入,單位為s。 |
load_parallel_instance_num | 1 | 單個BE上并發實例數,默認1個。 |
disable_hadoop_load | FALSE | 是否禁用從Hadoop導入:
|
disable_load_job | FALSE | 如果集群異常時,是否接受導入任務:
|
db_used_data_quota_update_interval_secs | 300 | 更新數據庫使用配額的時間周期,單位為s。 |
history_job_keep_max_second | 604800 | 歷史任務最大的保留時長,單位為s。 |
label_keep_max_num | 1000 | 一定時間內所保留導入任務的最大數量。 保留時間在label_keep_max_second中設置。 |
label_keep_max_second | 259200 | label保留時長,單位為s。 |
max_routine_load_job_num | 100 | 最大的Routine Load作業數。 |
max_routine_load_task_concurrent_num | 5 | 每個Routine Load作業最大并發執行的task數。 |
max_routine_load_task_num_per_be | 5 | 每個BE最大并發執行的Routine Load task數,需要小于等于BE的routine_load_thread_pool_size配置。 |
max_routine_load_batch_size | 524288000 | 每個Routine Load task導入的最大數據量。 |
routine_load_task_consume_second | 3 | 每個Routine Load task消費數據的最大時間,單位為s。 |
routine_load_task_timeout_second | 15 | 每個Routine Load task超時時間,單位為s。 |
max_tolerable_backend_down_num | 0 | 如果故障的BE節點數超過該閾值,則不能自動恢復Routine Load作業。 |
period_of_auto_resume_min | 5 | 自動恢復Routine Load的時間間隔。 |
spark_load_default_timeout_second | 86400 | Spark導入的超時時間,單位為s。 |
spark_home_default_dir | STARROCKS_HOME_DIR/lib/spark2x | Spark客戶端根目錄。 |
stream_load_default_timeout_second | 600 | StreamLoad超時時間,單位為s。 |
max_stream_load_timeout_second | 259200 | Stream導入的超時時間允許設置的最大值,單位為s。 |
insert_load_default_timeout_second | 3600 | Insert Into語句的超時時間,單位為s。 |
broker_load_default_timeout_second | 14400 | Broker Load的超時時間,單位為s。 |
min_bytes_per_broker_scanner | 67108864 | 單個實例處理的最小數據量,默認64 MB。 |
max_broker_concurrency | 100 | 單個任務最大并發實例數,默認100個。 |
export_max_bytes_per_be_per_task | 268435456 | 單個導出任務在單個BE上導出的最大數據量,默認256 MB。 |
export_running_job_num_limit | 5 | 導出作業最大的運行數目。 |
export_task_default_timeout_second | 7200 | 導出作業超時時長,單位為s,默認2小時。 |
存儲相關配置
配置項 | 默認值 | 描述 |
enable_strict_storage_medium_check | FALSE | 在創建表時,FE是否檢查BE的可用的存儲介質空間:
|
capacity_used_percent_high_water | 0.75 | Backend上磁盤使用容量的度量值。 超過0.75之后,盡量不再往該tablet上發送建表和克隆的任務,直至恢復正常。 |
storage_high_watermark_usage_percent | 85 | BE存儲目錄下空間使用率的最大值。 |
storage_min_left_capacity_bytes | 2 *1024* 1024*1024 | BE存儲目錄下剩余空間的最小值,默認2 GB。 |
storage_flood_stage_left_capacity_bytes | 1 *1024* 1024*1024 | BE存儲目錄的剩余空間。 如果剩余空間小于該值,則會拒絕Load Restore作業。默認1 GB。 |
storage_flood_stage_usage_percent | 95 | BE存儲目錄下空間使用率。 如果空間使用率超過該值,則會拒絕Load和Restore作業。 |
catalog_trash_expire_second | 86400 | 刪表或數據庫之后,元數據在回收站中保留的時長,單位為s,默認1天。 如果超過該時長,則數據無法恢復。 |
alter_table_timeout_second | 86400 | Schema change超時時間,單位為s,默認1天。 |
balance_load_disk_safe_threshold | 0.5 | 僅對disk_and_tablet策略有效。 如果所有BE的磁盤使用率低于50%,則認為磁盤使用均衡。 |
balance_load_score_threshold | 0.1 |
|
disable_balance | FALSE | 是否禁用Tablet調度:
|
max_scheduling_tablets | 2000 | 正在調度的tablet數量。 如果正在調度的tablet數量超過該值,則跳過tablet均衡檢查。 |
max_balancing_tablets | 100 | 正在均衡的tablet數量。 如果正在均衡的tablet數量超過該值,則跳過tablet重新均衡。 |
disable_colocate_balance | FALSE | 是否禁用Colocate Table的副本均衡:
|
recover_with_empty_tablet | FALSE | 在tablet副本丟失或損壞時,是否使用空的tablet代替:
使用空的tablet代替可以保證在有tablet副本丟失或損壞時,query依然能被執行(但是由于缺失了數據,結果可能是錯誤的)。 |
min_clone_task_timeout_sec | 3*60 | 克隆Tablet的最小超時時間,單位為s,默認3min。 |
max_clone_task_timeout_sec | 2 *60* 60 | 克隆 Tablet 的最大超時時間,單位為s,默認2h。 |
tablet_create_timeout_second | 1 | 建表超時時長,單位為s。 |
tablet_delete_timeout_second | 2 | 刪除表的超時時間,單位為s。 |
tablet_repair_delay_factor_second | 60 | FE 控制進行副本修復的間隔,單位為s。 |
consistency_check_start_time | 23 | FE 發起副本一致性檢測的起始時間,默認是23:00。 |
consistency_check_end_time | 4 | FE 發起副本一致性檢測的終止時間,默認是4:00。 |
check_consistency_default_timeout_second | 600 | 副本一致性檢測的超時時間,單位為s。 |
其他配置
配置項 | 默認值 | 描述 |
plugin_enable | TRUE | 是否開啟了插件功能:
說明 只能在Master節點安裝或卸載插件。 |
max_small_file_number | 100 | 允許存儲小文件數目的最大值。 |
max_small_file_size_bytes | 1024*1024 | 存儲文件的大小上限,默認1 MB。 |
backup_job_default_timeout_ms | 86400*1000 | Backup作業的超時時間,單位為s,默認1天。 |
report_queue_size | 100 | Disk、Task或Tablet的Report的等待隊列長度。 |
FE靜態參數
LOG相關配置
配置項 | 默認值 | 描述 |
log_roll_size_mb | 1024 | 日志拆分的大小,每1 GB拆分一個日志。 |
sys_log_dir | StarRocksFe.STARROCKS_HOME_DIR/log | 日志保留的目錄。 |
sys_log_level | INFO | 日志的級別。 可以配置的等級從寬松到嚴格依次為INFO、WARNING、ERROR和FATAL。 |
sys_log_verbose_modules | 空字符串 | 日志打印的模塊。 例如,如果填寫為org.apache.starrocks.catalog,則只打印catalog模塊下的日志。 |
sys_log_roll_interval | DAY | 日志拆分的時間間隔。 |
sys_log_delete_age | 7d | 日志刪除的間隔。 |
sys_log_roll_num | 10 | 每個sys_log_roll_interval時間內,保留的日志文件數目。 |
audit_log_dir | starrocksFe.STARROCKS_HOME_DIR/log | 審計日志保留的目錄。 |
audit_log_roll_num | 90 | 審計日志保留的數目。 |
audit_log_modules | "slow_query", "query" | 審計日志打印的模塊,默認保留slow_query和query。 |
audit_log_roll_interval | DAY | 審計日志拆分的時間間隔,取值為DAY或HOUR。 |
audit_log_delete_age | 30d | 審計日志刪除的間隔。 |
dump_log_dir | STARROCKS_HOME_DIR/log | Dump日志的目錄。 |
dump_log_modules | "query" | Dump日志打印的模塊,默認保留query。 |
dump_log_roll_interval | DAY | Dump日志拆分的時間間隔。 日志文件的后綴為yyyyMMdd(DAY)或yyyyMMddHH(HOUR)。 |
dump_log_roll_num | 90 | 每個dump_log_roll_interval時間內,保留的Dump日志文件數目。 |
dump_log_delete_age | 30d | Dump日志保留的時間長度。 |
Server進程相關配置
配置項 | 默認值 | 描述 |
frontend_address | 0.0.0.0 | FE IP地址。 |
priority_networks | 空字符串 | 以CIDR形式10.10.**.**/24指定BE的IP地址,適用于機器有多個IP,需要指定優先使用的網絡。 |
http_port | 8030 | Http Server的端口。 |
http_backlog_num | 1024 | HTTP Server的backlog隊列長度。 |
cluster_name | StarRocks Cluster | Web頁面中Title顯示的集群名稱。 |
rpc_port | 9020 | FE上的Thrift Server端口。 |
thrift_backlog_num | 1024 | Thrift Server的backlog隊列長度。 |
thrift_server_type | THREAD_POOL | FE的Thrift服務使用的服務模型。例如,SIMPLE、THREADED和THREAD_POOL。 |
thrift_server_max_worker_threads | 4096 | Thrift Server最大工作線程數。 |
thrift_client_timeout_ms | 0 | Client超時時間。 默認值為0,表示永遠不會超時。 |
brpc_idle_wait_max_time | 10000 | BRPC的空閑等待時間,單位為ms,默認為10s。 |
query_port | 9030 | FE上的MySQL Server端口。 |
mysql_service_nio_enabled | TRUE | 是否開啟FE連接服務的nio:
|
mysql_service_io_threads_num | 4 | FE連接服務線程數。 |
mysql_nio_backlog_num | 1024 | MySQL Server的backlog隊列長度。 |
max_mysql_service_task_threads_num | 4096 | MySQL Server處理任務的最大線程數。 |
max_connection_scheduler_threads_num | 4096 | 連接定時器的線程池的最大線程數。 |
qe_max_connection | 1024 | FE上最多接收的連接數,適用于所有用戶。 |
check_java_version | TRUE | 是否檢查執行時的版本與編譯的Java版本的兼容性:
|
元數據與集群管理相關配置
配置項 | 默認值 | 描述 |
meta_dir | StarRocksFe.STARROCKS_HOME_DIR/meta | 元數據保留目錄。 |
heartbeat_mgr_threads_num | 8 | HeartbeatMgr中發送心跳任務的線程數。 |
heartbeat_mgr_blocking_queue_size | 1024 | HeartbeatMgr中發送心跳任務的線程池的隊列長度。 |
metadata_failure_recovery | FALSE | 強制重置FE的元數據。 說明 請謹慎使用該參數。 |
edit_log_port | 9010 | FE Group(Master、Follower、Observer)之間通信用的端口。 |
edit_log_type | BDB | Edit log的類型,只能為BDB。 |
bdbje_heartbeat_timeout_second | 30 | BDBJE心跳超時的間隔,單位為s。 |
bdbje_lock_timeout_second | 1 | BDBJE鎖超時的間隔,單位為s。 |
max_bdbje_clock_delta_ms | 5000 | Master與Non-master最大容忍的時鐘偏移,單位為ms。 |
txn_rollback_limit | 100 | 事務回滾的上限。 |
bdbje_replica_ack_timeout_second | 10 | BDBJE Master等待足夠多的FOLLOWER ACK的最長時間c |
master_sync_policy | SYNC | Master日志刷盤的方式,默認是SYNC。 |
replica_sync_policy | SYNC | Follower日志刷盤的方式,默認是SYNC。 |
meta_delay_toleration_second | 300 | 非Master節點能夠容忍的最大元數據落后的時間,單位為s。 |
cluster_id | -1 | 相同cluster_id的FE或BE節點屬于haode同一個集群。 默認值-1,表示在Master FE第一次啟動時隨機生成一個cluster_id。 |
查詢引擎相關配置
配置項 | 默認值 | 描述 |
disable_colocate_join | FALSE | 是否開啟Colocate Join:
|
enable_udf | FALSE | 是否開啟UDF:
|
publish_version_interval_ms | 10 | 發送版本生效任務的時間間隔。 |
statistic_cache_columns | 10_0000 | 緩存統計信息表的行數。 |
導入和導出相關配置
配置項 | 默認值 | 描述 |
async_load_task_pool_size | 10 | 導入任務執行的線程池大小。 |
load_checker_interval_second | 5 | 導入輪詢的間隔,單位為s。 |
transaction_clean_interval_second | 30 | 清理已結束事務的周期,單位為s。 |
label_clean_interval_second | 14400 | label清理的間隔,單位為s。 |
spark_dpp_version | 1.0.0 | Spark dpp版本。 |
spark_resource_path | 空字符串 | Spark依賴包的根目錄。 |
spark_launcher_log_dir | sys_log_dir/spark_launcher_log | Spark日志目錄。 |
yarn_client_path | STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn | YARN客戶端根目錄。 |
yarn_config_dir | STARROCKS_HOME_DIR/lib/yarn-config | YARN配置文件目錄。 |
export_checker_interval_second | 5 | 導出線程輪詢間隔,單位為s。 |
export_task_pool_size | 5 | 導出任務線程池大小。 |
export_checker_interval_second | 5 | 導出作業調度器的調度周期,單位為s。 |
存儲相關配置
配置項 | 默認值 | 描述 |
storage_cooldown_second | 2592000 | 介質遷移的時間,單位為s,默認30天。 |
default_storage_medium | HDD | 默認的存儲介質,取值為HDD和SSD。 在創建表或分區時,如果沒有指定存儲介質,則會使用該值。 |
schedule_slot_num_per_path | 2 | 一個BE存儲目錄能夠同時執行tablet相關任務的數目。 |
tablet_balancer_strategy | disk_and_tablet | Tablet均衡策略,取值為disk_and_tablet或be_load_score。 |
tablet_stat_update_interval_second | 300 | FE向每個BE請求收集tablet信息的時間間隔,單位為s,默認5min。 |
其他配置
配置項 | 默認值 | 描述 |
plugin_dir | STARROCKS_HOME_DIR/plugins | 插件安裝的目錄。 |
small_file_dir | STARROCKS_HOME_DIR/small_files | 小文件的根目錄。 |
max_agent_task_threads_num | 4096 | 代理任務的線程池的最大線程數。 |
authentication_ldap_simple_bind_base_dn | "" | 用戶的base DN,指定用戶的檢索范圍。 |
authentication_ldap_simple_bind_root_dn | "" | 檢索用戶時,使用的管理員賬號DN。 |
authentication_ldap_simple_bind_root_pwd | "" | 檢索用戶時,使用的管理員賬號密碼。 |
authentication_ldap_simple_server_host | "" | LDAP服務的host地址。 |
authentication_ldap_simple_server_port | 389 | LDAP服務的端口。 |
authentication_ldap_simple_user_search_attr | uid | LDAP對象中標識用戶的屬性名稱。 |
tmp_dir | starrocksFe.STARROCKS_HOME_DIR/temp_ddir | 臨時文件保存目錄,例如Backup和Restore等進程保留的目錄。 |
locale | zh_CN.UTF-8 | 字符集。 |
hive_meta_load_concurrency | 4 | Hive元數據并發線程數。 |
hive_meta_cache_refresh_interval_s | 4096 | 定時刷新Hive外表元數據緩存的周期,單位為s。 |
hive_meta_cache_ttl_s | 3600 *2 | Hive外表元數據緩存失效時間,單位為s,默認2h。 |
hive_meta_store_timeout_s | 3600 *24 | 連接Hive MetaStore的超時時間,單位為s,默認24h。 |
es_state_sync_interval_second | 10 | FE獲取ElasticSearch Index的時間,單位為s。 |
enable_auth_check | TRUE | 是否開啟鑒權:
|
enable_metric_calculator | TRUE | 是否開啟定期收集Metrics:
|
BE配置項
BE配置項全部是靜態參數。
配置項 | 默認值 | 描述 |
be_port | 9060 | BE上Thrift Server的端口,用于接收來自FE的請求。 |
brpc_port | 8060 | BRPC的端口,可以查看BRPC的一些網絡統計信息。 |
brpc_num_threads | -1 | BRPC的bthreads線程數量。默認值-1表示和CPU核數一樣。 |
priority_networks | 空字符串 | 以CIDR形式10.10.**.**/24指定BE的IP地址,適用于機器有多個IP,需要指定優先使用的網絡。 |
heartbeat_service_port | 9050 | 心跳服務端口(Thrift),接收來自FE的心跳。 |
heartbeat_service_thread_count | 1 | 心跳線程數。 |
create_tablet_worker_count | 3 | 創建tablet的線程數。 |
drop_tablet_worker_count | 3 | 刪除tablet的線程數。 |
push_worker_count_normal_priority | 3 | 導入線程數,處理NORMAL優先級任務。 |
push_worker_count_high_priority | 3 | 導入線程數,處理HIGH優先級任務。 |
publish_version_worker_count | 2 | 生效版本的線程數。 |
clear_transaction_task_worker_count | 1 | 清理事務的線程數。 |
alter_tablet_worker_count | 3 | 進行Schema Change的線程數。 |
clone_worker_count | 3 | 克隆的線程數。 |
storage_medium_migrate_count | 1 | 介質遷移的線程數。例如,熱數據從SSD遷移到SATA盤的線程數。 |
check_consistency_worker_count | 1 | 計算tablet的校驗和checksum。 |
report_task_interval_seconds | 10 | 匯報單個任務的間隔,單位為s。 建表、刪除表、導入和Schema Change都可以被認定是任務。 |
report_disk_state_interval_seconds | 60 | 匯報磁盤狀態的間隔,單位為s。 匯報各個磁盤的狀態及其數據量等。 |
report_tablet_interval_seconds | 60 | 匯報tablet的間隔,單位為s。 匯報所有的tablet的最新版本。 |
alter_tablet_timeout_seconds | 86400 | Schema Change超時時間,單位為s。 |
sys_log_dir | ${DORIS_HOME}/log | 存放日志的目錄。 日志級別包括INFO、WARNING、ERROR和FATAL。 |
user_function_dir | ${DORIS_HOME}/lib/udf | 存放UDF程序的目錄。 |
sys_log_level | INFO | 日志的等級。 可以配置的等級從寬松到嚴格依次為INFO、WARNING、ERROR和FATAL。 |
sys_log_roll_mode | SIZE-MB-1024 | 日志拆分的大小,每1 GB拆分一個日志。 |
sys_log_roll_num | 10 | 日志保留的數目。 |
sys_log_verbose_modules | 空字符串 | 日志打印的模塊。如果寫olap,則只打印olap模塊下的日志。 |
sys_log_verbose_level | 10 | 日志顯示的級別,用于控制代碼中VLOG開頭的日志輸出。 |
log_buffer_level | 空字符串 | 日志刷盤的策略,默認保持在內存中。 |
num_threads_per_core | 3 | 每個CPU core啟動的線程數。 |
compress_rowbatches | TRUE | BE之間RPC通信是否壓縮RowBatch,用于查詢層之間的數據傳輸。 |
serialize_batch | FALSE | BE之間RPC通信是否序列化RowBatch,用于查詢層之間的數據傳輸。 |
status_report_interval | 5 | 查詢匯報profile的間隔,單位為s,用于FE收集查詢統計信息。 |
doris_scanner_thread_pool_thread_num | 48 | 存儲引擎并發掃描磁盤的線程數,統一管理在線程池中。 |
doris_scanner_thread_pool_queue_size | 102400 | 存儲引擎最多接收的任務數。 |
doris_scan_range_row_count | 524288 | 存儲引擎拆分查詢任務的粒度。 |
doris_scanner_queue_size | 1024 | 存儲引擎支持的掃描任務數。 |
doris_scanner_row_num | 16384 | 每個掃描線程單次執行最多返回的數據行數。 |
doris_max_scan_key_num | 1024 | 查詢最多拆分的scan key數目。 |
column_dictionary_key_ratio_threshold | 0 | 字符串類型的取值比例,小于這個比例采用字典壓縮算法。 |
column_dictionary_key_size_threshold | 0 | 字典壓縮列大小,小于這個值采用字典壓縮算法。 |
memory_limitation_per_thread_for_schema_change | 2 | 單個Schema Change任務允許占用的最大內存。 |
file_descriptor_cache_clean_interval | 3600 | 文件句柄緩存清理的間隔,單位為s,用于清理長期不用的文件句柄。 |
disk_stat_monitor_interval | 5 | 磁盤狀態檢測的間隔,單位為s。 |
unused_rowset_monitor_interval | 30 | 清理過期Rowset的時間間隔,單位為s。 |
storage_root_path | 空字符串 | 存儲數據的目錄。 |
max_tablet_num_per_shard | 1024 | 每個shard的tablet數目,用于劃分tablet,防止單個目錄下tablet子目錄過多。 |
pending_data_expire_time_sec | 1800 | 存儲引擎保留的未生效數據的最大時長,單位為s。 |
inc_rowset_expired_sec | 1800 | 在增量克隆場景下,已導入的數據,在存儲引擎中保留的時間,單位為s。 |
max_garbage_sweep_interval | 3600 | 磁盤進行垃圾清理的最大間隔,單位為s。 |
min_garbage_sweep_interval | 180 | 磁盤進行垃圾清理的最小間隔,單位為s。 |
snapshot_expire_time_sec | 172800 | 快照文件清理的間隔,單位為s,默認為48小時。 |
trash_file_expire_time_sec | 259200 | 回收站清理的間隔,單位為s,默認為72小時。 |
file_descriptor_cache_capacity | 16384 | 文件句柄緩存的容量。 |
min_file_descriptor_number | 60000 | BE進程的文件句柄limit要求的下限。 |
index_stream_cache_capacity | 10737418240 | BloomFilter、Min或Max等統計信息緩存的容量。 |
storage_page_cache_limit | 0 | PageCache的容量。 |
disable_storage_page_cache | TRUE | 是否禁用Page Cache。
|
base_compaction_check_interval_seconds | 60 | BaseCompaction線程輪詢的間隔,單位為s。 |
base_compaction_num_threads_per_disk | 1 | 每個磁盤BaseCompaction線程的數目。 |
base_cumulative_delta_ratio | 0.3 | BaseCompaction觸發條件之一:Cumulative文件大小達到Base文件的比例。 |
base_compaction_interval_seconds_since_last_operation | 86400 | BaseCompaction觸發條件之一:上一輪BaseCompaction距今的間隔。 |
cumulative_compaction_check_interval_seconds | 1 | CumulativeCompaction線程輪詢的間隔,單位為s。 |
min_cumulative_compaction_num_singleton_deltas | 5 | CumulativeCompaction觸發條件之一:Singleton文件數目要達到的下限。 |
max_cumulative_compaction_num_singleton_deltas | 1000 | CumulativeCompaction 觸發條件之一:Singleton文件數目要達到的上限。 |
cumulative_compaction_num_threads_per_disk | 1 | 每個磁盤CumulativeCompaction線程的數目。 |
min_compaction_failure_interval_sec | 120 | Tablet Compaction失敗之后,再次被調度的間隔,單位為s。 |
max_compaction_concurrency | -1 | BaseCompaction + CumulativeCompaction的最大并發。 默認值-1表示沒有限制。 |
webserver_port | 8040 | Http Server端口。 |
webserver_num_workers | 48 | Http Server線程數。 |
periodic_counter_update_period_ms | 500 | Counter統計信息的間隔,單位為ms。 |
load_data_reserve_hours | 4 | 小批量導入生成的文件保留的時間,單位為h。 |
load_error_log_reserve_hours | 48 | 導入數據信息保留的時長,單位為h。 |
number_tablet_writer_threads | 16 | 流式導入的線程數。 |
streaming_load_max_mb | 10240 | 流式導入單個文件大小的上限。 |
streaming_load_rpc_max_alive_time_sec | 1200 | 流式導入RPC的超時時間。 |
fragment_pool_thread_num | 64 | 查詢線程數,默認啟動64個線程,后續查詢請求動態創建線程。 |
fragment_pool_queue_size | 2048 | 單節點上能夠處理的查詢請求上限。 |
enable_partitioned_aggregation | TRUE | 是否使用PartitionAggregation:
|
enable_token_check | TRUE | 是否開啟Token檢驗:
|
load_process_max_memory_limit_bytes | 107374182400 | 單節點上所有的導入線程占據的內存上限,默認為100 GB。 |
load_process_max_memory_limit_percent | 30 | 單節點上所有的導入線程占據的內存上限比例。 |
sync_tablet_meta | FALSE | 存儲引擎是否開sync保留到磁盤上。 |
thrift_rpc_timeout_ms | 5000 | Thrift超時的時長,單位為ms。 |
txn_commit_rpc_timeout_ms | 10000 | Txn超時的時長,單位為ms。 |
routine_load_thread_pool_size | 10 | 例行導入的線程池數目。 |
tablet_meta_checkpoint_min_new_rowsets_num | 10 | TabletMeta Checkpoint的最小Rowset數目。 |
tablet_meta_checkpoint_min_interval_secs | 600 | TabletMeta Checkpoint線程輪詢的時間間隔,單位為s。 |
brpc_max_body_size | 209715200 | BRPC最大的包容量,默認為200 MB。 |
max_runnings_transactions | 2000 | 存儲引擎支持的最大事務數。 |
tablet_map_shard_size | 32 | Tablet分組數。 |
enable_bitmap_union_disk_format_with_set | FALSE | Bitmap新存儲格式,可以優化bitmap_union性能。 |