運(yùn)維場(chǎng)景

工具本身不會(huì)為系統(tǒng)帶來更大的負(fù)載開銷，避免引起網(wǎng)絡(luò)抖動(dòng)問題。SysAK通過技術(shù)手段保證所有工具同時(shí)運(yùn)行時(shí)不超過3%的系統(tǒng)消耗，單個(gè)工具不超過1%的系統(tǒng)消耗。

安裝SysAK

環(huán)境要求

• 操作系統(tǒng)：Alibaba Cloud Linux 2/3、Anolis OS 8.4 ANCK、CentOS 7及其他內(nèi)核版本大于3.10的Linux系統(tǒng)

  說明

  您可以運(yùn)行uname -a命令查看實(shí)例的內(nèi)核版本。

• 硬件：x86_64

安裝部署

使用SysAK

使用方法

SysAK的兩種模式

SysAK目前支持監(jiān)控模式和診斷模式。監(jiān)控模式下SysAK常駐后臺(tái)，為運(yùn)維人員提供系統(tǒng)的各項(xiàng)指標(biāo)。診斷模式隨用隨啟，主要用于分析系統(tǒng)現(xiàn)象根因。更多信息，請(qǐng)參見SysAK系統(tǒng)監(jiān)控功能和SysAK診斷功能。

SysAK系統(tǒng)監(jiān)控功能

啟動(dòng)監(jiān)控

監(jiān)控指標(biāo)

• 系統(tǒng)資源

  指標(biāo)分類	類別說明		具體指標(biāo)項(xiàng)	增強(qiáng)特性
  計(jì)算資源	CPU	user	用戶態(tài)CPU使用率	無
  		sys	系統(tǒng)態(tài)CPU使用率
  		hirq	中斷CPU使用率
  		sirq	軟中斷CPU使用率
  	LOAD	load*	1秒、5秒、15秒負(fù)載
  內(nèi)存資源	內(nèi)存	free	內(nèi)存余量
  		used	內(nèi)存使用量
  		buffer	內(nèi)存buffer使用量
  		cache	內(nèi)存cache使用量
  		total	內(nèi)存總量
  		mem.util	內(nèi)存使用率
  	swap	swpin	swap換入的page數(shù)
  		swapout	swap換出的page數(shù)
  		total	swap的page總量
  		swap.util	swap使用率
  IO資源	IO訪問	rrqms	每秒向設(shè)備發(fā)出的合并讀取請(qǐng)求數(shù)
  		wrqms	每秒向設(shè)備發(fā)出的合并寫入請(qǐng)求數(shù)
  		rs	每秒向設(shè)備發(fā)出的讀取請(qǐng)求數(shù)
  		ws	每秒向設(shè)備發(fā)出的寫入請(qǐng)求數(shù)
  		rsecs	每秒從設(shè)備讀取的扇區(qū)數(shù)
  		wsecs	每秒寫入設(shè)備的扇區(qū)數(shù)
  		rqsize	向設(shè)備發(fā)出的請(qǐng)求的平均大小
  		qusize	向設(shè)備發(fā)出的請(qǐng)求的平均隊(duì)列長(zhǎng)度
  		svctm	向設(shè)備發(fā)出的I/O請(qǐng)求的平均服務(wù)時(shí)間
  		io.util	I/O請(qǐng)求的CPU時(shí)間百分比
  	磁盤空間	bfree	剩余數(shù)據(jù)塊數(shù)量
  		bused	已用數(shù)據(jù)塊數(shù)量
  		btotl	數(shù)據(jù)塊總量
  		patition.util	數(shù)據(jù)庫(kù)使用率
  		ifree	剩余文件節(jié)點(diǎn)數(shù)量
  		itotl	文件節(jié)點(diǎn)總量
  		iutil	文件節(jié)點(diǎn)使用率
  網(wǎng)絡(luò)資源	網(wǎng)絡(luò)流量	bytin	網(wǎng)絡(luò)接收流量數(shù)Byte
  		bytout	網(wǎng)絡(luò)發(fā)出流量數(shù)Byte
  		pktin	網(wǎng)絡(luò)收包總量
  		pktout	網(wǎng)絡(luò)發(fā)包總量
  	TCP	active	tcp主動(dòng)建連數(shù)
  		pasive	tcp被動(dòng)建連數(shù)
  		iseg	tcp收包數(shù)
  		outseg	tcp發(fā)包數(shù)
  	UDP	idgm	udp收包數(shù)
  		odgm	udp發(fā)包數(shù)

• 系統(tǒng)瓶頸

  指標(biāo)分類	類別說明		具體指標(biāo)項(xiàng)	增強(qiáng)特性
  IO瓶頸	讀寫延遲	await	IO的平均等待時(shí)間	無
  		rawait	IO讀的平均等待時(shí)間
  		wawait	IO寫的平均等待時(shí)間
  內(nèi)存瓶頸	cache回收與碎片整理	kswapd	kswapd回收次數(shù)
  		pg_kr	異步回收page數(shù)
  		pg_dr	直接回收page數(shù)
  		kcompd	kcompactd規(guī)整次數(shù)
  		dc_all	內(nèi)存直接規(guī)整次數(shù)
  		dc_fin	內(nèi)存直接規(guī)整完成次數(shù)
  		oom	發(fā)生oom次數(shù)
  網(wǎng)絡(luò)瓶頸	網(wǎng)絡(luò)傳輸	pkterr	系統(tǒng)錯(cuò)誤包數(shù)量
  		pktdrp	系統(tǒng)丟包數(shù)量
  		EstReset	ESTABLISHED狀態(tài)發(fā)生reset次數(shù)
  		AtmpFail	tcp connection嘗試失敗次數(shù)
  		retran	tcp重傳率
  		noport	udp目的端口/地址不存在次數(shù)
  		idmerr	udp無效包個(gè)數(shù)
  CPU瓶頸	多任務(wù)并發(fā)	cswch	系統(tǒng)的上下文切換數(shù)
  		proc	系統(tǒng)fork次數(shù)
  	就緒隊(duì)列長(zhǎng)時(shí)排隊(duì)	rqslow.dltnum	就緒隊(duì)列等待超過閾值的次數(shù)	SysAK
  		rqslow.dlttm	就緒隊(duì)列等待超過閾值的總延時(shí)	SysAK
  系統(tǒng)軟件瓶頸	內(nèi)核臨界資源訪問	noschd.dltnum	CPU在sys態(tài)駐留超過閾值次數(shù)	SysAK
  		noschd.dlttm	CPU在sys態(tài)駐留超過閾值總延時(shí)	SysAK

• 系統(tǒng)干擾

  指標(biāo)分類	類別說明		具體指標(biāo)項(xiàng)	增強(qiáng)特性
  系統(tǒng)干擾	長(zhǎng)時(shí)間關(guān)中斷延遲	irqoff.dltnum	系統(tǒng)關(guān)中斷超過閾值次數(shù)	SysAK
  		irqoff.dlttm	系統(tǒng)關(guān)中斷超過閾值總延時(shí)	SysAK

• 容器場(chǎng)景（每個(gè)容器的指標(biāo)）

  指標(biāo)分類	類別說明		具體指標(biāo)項(xiàng)	增強(qiáng)特性
  計(jì)算資源	CPU資源	usr/sys/hriq/sirq	容器用戶態(tài)/系統(tǒng)/中斷/軟中斷CPU使用率	無
  	負(fù)載信息	nrun	容器中就緒狀態(tài)的任務(wù)數(shù)	Alibaba Cloud Linux、Anolis OS
  		nunint	容器中D阻塞狀態(tài)任務(wù)數(shù)
  		load*	容器中1秒、5秒、10秒的負(fù)載情況
  內(nèi)存資源	MEMROY資源	total/free/used/cache/buffer	容器中內(nèi)存的總量、剩余、使用、cache、buffer量	無
  	內(nèi)存瓶頸	pgfault	容器中缺頁(yè)異常次數(shù)
  		pgmajfault	容器磁盤交換或者文件映射缺頁(yè)的次數(shù)
  		mfailcnt	容器發(fā)生內(nèi)存申請(qǐng)失敗的次數(shù)
  		drgl*	全局內(nèi)存回收的延遲時(shí)間分布	Alibaba Cloud Linux、Anolis OS
  		drml*	容器中內(nèi)存回收延遲時(shí)間分布
  		dcl*	容器內(nèi)存壓縮的延遲時(shí)間分布
  IO資源	IO指標(biāo)	riops	容器中讀IO個(gè)數(shù)	無
  		wiops	容器中讀寫IO個(gè)數(shù)
  		rbps	容器中的讀字節(jié)數(shù)
  		wbps	容器中的寫字節(jié)數(shù)
  		rwait	容器中讀等待時(shí)間	Alibaba Cloud Linux、Anolis OS
  		wwait	容器中的寫等待時(shí)間
  		rsrv	容器中讀服務(wù)時(shí)間
  		wsrv	容器中寫服務(wù)時(shí)間
  		rioq	容器中讀排隊(duì)IO個(gè)數(shù)
  		wioq	容器中寫排隊(duì)IO個(gè)數(shù)
  		rioqsz	容器中讀排隊(duì)的IO字節(jié)數(shù)
  		wioqsz	容器中寫排隊(duì)的IO字節(jié)數(shù)
  		rarqsz	容器中讀IO的平均字節(jié)數(shù)
  		warqsz	容器中寫IO的平均字節(jié)數(shù)
  硬件資源	資源瓶頸	llcref	容器LLC訪問次數(shù)	無
  		llcmis	容器LLC miss次數(shù)
  		CPI	容器CPI (cycles per instruction)

服務(wù)配置

SysAK監(jiān)控服務(wù)支持對(duì)采集的指標(biāo)項(xiàng)通過配置文件進(jìn)行配置。配置文件存放在/usr/local/sysak/sysakmon.conf路徑下，修改配置后，需要執(zhí)行systemctl restart sysak命令重啟mservice服務(wù)。

數(shù)據(jù)查看

SysAK診斷功能

用戶場(chǎng)景診斷

系統(tǒng)底層專項(xiàng)診斷

• 調(diào)度

  命令類別	功能	命令及說明
  nosched	檢測(cè)系統(tǒng)中內(nèi)核態(tài)長(zhǎng)時(shí)間占住CPU，導(dǎo)致CPU上的任務(wù)無法及時(shí)調(diào)度運(yùn)行的問題。	sysak nosched [--help] [-t THRESH(ms)] [-f LOGFILE] [-s duration(s)] -t THRESH：內(nèi)核不調(diào)度的門限時(shí)間，超過門限就會(huì)進(jìn)行記錄，單位ms。可選，默認(rèn)10 ms。 -f LOGFILE：將log記錄到指定文件。可選，默認(rèn)記錄在/var/log/sysak/nosched/nosched.log。 -s durations：設(shè)置該程序運(yùn)行多長(zhǎng)時(shí)間，單位s。可選，默認(rèn)一直運(yùn)行。 更多信息，請(qǐng)參見nosched功能說明。
  irqoff	檢測(cè)系統(tǒng)中長(zhǎng)時(shí)間關(guān)閉中斷的異常狀態(tài)。	sysak irqoff [--help] [-t THRESH(ms)] [-f LOGFILE] [duration(s)] -t THRESH：關(guān)中斷的門限時(shí)間，超過門限就會(huì)記錄，單位ms。可選，默認(rèn)10 ms。 -f LOGFILE：將log記錄到指定文件。可選，默認(rèn)記錄在/var/log/sysak/irqoff/irqoff.log。 durations：設(shè)置該程序運(yùn)行多長(zhǎng)時(shí)間，單位s。可選，默認(rèn)一直運(yùn)行。 更多信息，請(qǐng)參見irqoff功能說明。
  runqslower	檢測(cè)系統(tǒng)中任務(wù)調(diào)度延遲大的異常情況。	sysak runqslower [-s SPAN] [-t TID] [-f LOGFILE] [-P] [THRESH] -s SPAN：設(shè)置該程序運(yùn)行多長(zhǎng)時(shí)間，單位s。可選，默認(rèn)一直運(yùn)行。 THRESH：任務(wù)被搶占的門限時(shí)間，超過門限就記錄，單位ms。可選，默認(rèn)20 ms。 -f LOGFILE：將log記錄到指定文件。可選，默認(rèn)記錄在/var/log/sysak/runqslow/runqslow.log。 -t TID：過濾選項(xiàng)，指定被監(jiān)控的現(xiàn)場(chǎng)ID。可選，默認(rèn)監(jiān)控所有的線程。 -P：記錄prev任務(wù)的name和TID。可選，默認(rèn)不記錄。 更多信息，請(qǐng)參見runqslower功能說明。

• 內(nèi)存

  命令類別	功能	命令及說明
  memleak	診斷內(nèi)核內(nèi)存泄露情況，包括slab、vmalloc、buddy內(nèi)存的泄露情況，找到泄露點(diǎn)。	sysak memleak [-t type] [-i internal] [-c] -t：內(nèi)存泄露類型。 slab：slab分配內(nèi)存泄露檢測(cè)。 vmalloc：vmalloc分配內(nèi)存泄露檢測(cè)。 page：伙伴系統(tǒng)內(nèi)存分配泄露檢測(cè)。 -i：指定檢測(cè)時(shí)間，默認(rèn)300 s。 -c：指定此參數(shù)后，只會(huì)做快速檢測(cè)，判斷內(nèi)存是否泄露，不進(jìn)行泄露點(diǎn)的診斷。
  mmaptrace	抓取用戶態(tài)內(nèi)存泄露點(diǎn)，提供用戶態(tài)內(nèi)存申請(qǐng)調(diào)用棧。	sysak mmaptrace [ option ] [ args ] -p <pid>： 監(jiān)控指定pid用戶態(tài)申請(qǐng)內(nèi)存情況。 -l：設(shè)置監(jiān)控malloc/mmap申請(qǐng)的大小。 -s：顯示申請(qǐng)內(nèi)存的用戶態(tài)調(diào)用棧。
  memgraph	內(nèi)存大圖工具。	sysak memgraph [ option ] -g：顯示內(nèi)存使用大圖。 -f：顯示頁(yè)緩存詳細(xì)信息。 -a：顯示匿名內(nèi)存詳細(xì)信息。 -k：內(nèi)存泄露檢測(cè)。 -l：顯示系統(tǒng)線程內(nèi)存使用情況。 -c：顯示系統(tǒng)cgroup內(nèi)存使用情況。

• IO

  命令類別	功能	命令及說明
  iofsstat	實(shí)現(xiàn)從進(jìn)程和文件級(jí)別統(tǒng)計(jì)IO信息。	sysak iofsstat [-h] [-T TIMEOUT] [-t TOP] [-u UTIL_THRESH] [-b BW_THRESH] [-i IOPS_THRESH] [-c CYCLE] [-d DEVICE] [-p PID] [-j] [-f] -T TIMEOUT：指定命令運(yùn)行的時(shí)長(zhǎng)（secs）。 -t TOP：報(bào)告的top N的最大IO資源使用情況。 -u UTIL_THRESH：指定util-thresh作為過濾條件 ，該參數(shù)可以過濾util低于此閾值的信息。 -b BW_THRESH：指定BW-thresh作為過濾條件。該參數(shù)可以過濾bw低于此閾值的信息。 -i IOPS_THRESH：指定IOPS-thresh作為過濾條件。該參數(shù)可以過濾iops低于此閾值的信息。 -c CYCLE：指定刷新頻率（secs）。 -d DEVICE：指定監(jiān)控的disk盤名稱。 -p PID：指定關(guān)注的任務(wù)pid。 -j,--json：以json-format格式輸出。 -f,--fs：監(jiān)控報(bào)告指定分區(qū)的信息。

• 網(wǎng)絡(luò)

  命令類別	功能	命令及說明
  pingtrace	網(wǎng)絡(luò)延遲探測(cè)定界工具。	sysak pingtrace [ options ] -v,--version：顯示版本號(hào)。 -h,--help：幫助信息。 -s,--server：以server模式運(yùn)行。 -c,--client ip：以client模式運(yùn)行。 -C：--count UINT：探測(cè)報(bào)文數(shù)量，默認(rèn)不限。 -i <interval_us>：以u(píng)s為單位，報(bào)文發(fā)送間隔時(shí)間。 -t < UINT >：以s為單位，程序運(yùn)行時(shí)間。 -m,--maxdelay us：ping延時(shí)的閾值，只有超過該值的報(bào)文數(shù)據(jù)才會(huì)被記錄下來，默認(rèn)為0。 -b <INT=556 >：發(fā)送探測(cè)報(bào)文的大小，至少144字節(jié)。 --log TEXT=./pingtrace.log：日志文件名稱。 --logsize INT：日志文件最大占用磁盤空間。 --logbackup INT=3：日志文件最多備份數(shù)量。 --mode auto/pingpong/compact：PingTrace運(yùn)行模式。 -o,--output image/json/log/imagelog：PingTrace數(shù)據(jù)輸出格式。 -n,--namespace：探測(cè)與net namespace相關(guān)的信息。 --nslocal：在探測(cè)net namespace相關(guān)信息時(shí)，告知PingTrace client和server運(yùn)行在同一host上，以避免獲取到冗余數(shù)據(jù)。 --userid UINT：在探測(cè)net namespace相關(guān)信息時(shí)，為不同host指定不同userid，以幫助PingTrace識(shí)別和修正不同host上時(shí)間不同步問題。 --debug：打印相關(guān)debug信息，主要為libbpf信息。
  skcheck	tcp和socket泄露檢測(cè)工具。	sysak skcheck [ options ] [ cmdargs ] -s：?jiǎn)?dòng)泄露檢測(cè)。 -i：設(shè)置開啟的socket閾值，默認(rèn)是2000。 -l：設(shè)置關(guān)閉的socket閾值，默認(rèn)是500。

• 性能

  命令類別	功能	命令及說明
  numa_access	顯示指定pid、cpu numa信息。	sysak numa_access [ options ] [ cmdargs ] -p <pid>：指定pid。 -c <cpu>：指定CPU。 -i <time>：設(shè)置顯示間隔時(shí)間。
  hw_event	docker的硬件事件信息。	sysak hw_event [ options ] [ cmdargs ] -c <name>：指定docker的名字，默認(rèn)是所有docker。 -s <time>：設(shè)置運(yùn)行時(shí)間，默認(rèn)5 s。

• 虛擬化

  命令類別	功能	命令及說明
  kvmexittime	跟蹤診斷虛擬機(jī)Vmexit事件。	sysak kvmexittime [--help] [-p PID] [-t TID] [interval] -p <PID>：指定pid。 -t <TID>：指定tid。 interval：跟蹤診斷的時(shí)間。 --help：輸出當(dāng)前命令幫助信息。

• Generic

  命令類別	功能	命令及說明
  syscall_slow	用于系統(tǒng)調(diào)用慢的原因自動(dòng)分析應(yīng)用線程鎖競(jìng)爭(zhēng)問題。	sysak syscall_slow [-t THRESH(ms)] [-n sys_NR] <[-c COMM] [-p tid]> [-f LOGFILE][duration(s)] -t：當(dāng)系統(tǒng)調(diào)用時(shí)間超過該指定門限時(shí)就記錄，單位ms；可選，默認(rèn)10 ms。 -n：檢測(cè)指定的系統(tǒng)調(diào)用。可選，默認(rèn)所有系統(tǒng)調(diào)用。 -c/-p：只檢測(cè)指定任務(wù)名字或者線程ID，二選一。必選。 -f：將log記錄到指定文件。可選，默認(rèn)記錄在/var/log/sysak/syscall_slow/syscall_slow.log。 durations：設(shè)置該程序運(yùn)行多長(zhǎng)時(shí)間，單位s。可選，默認(rèn)一直運(yùn)行。 更多信息，請(qǐng)參見syscall_slow功能說明。
  ulockcheck	自動(dòng)分析應(yīng)用線程鎖競(jìng)爭(zhēng)問題。	sysak ulockcheck -p <pid> | -s <thread pid>| -a | -t <0|1> | -d -p：開始監(jiān)控指定進(jìn)程線程鎖競(jìng)爭(zhēng)情況。 -a：顯示當(dāng)前鎖owner及請(qǐng)鎖次數(shù)top 5。 -s：顯示監(jiān)控線程的鎖競(jìng)爭(zhēng)情況。 -t：開啟打印開關(guān)。如果等鎖超過100 ms，會(huì)打印線程鎖的用戶態(tài)調(diào)用棧。 -d：停止監(jiān)控。
  cpuirq	輸出CPU上的中斷綁定和運(yùn)行情況。	sysak cpuirq [-c cpu -b ] [ -t [ -i interval ] ] -c：指定要查看的CPU。 -b：輸出指定CPU的中斷綁定信息。 -t：查看一定時(shí)間內(nèi)產(chǎn)生最多的中斷。 -i：指定時(shí)間間隔softirq。
  softirq	統(tǒng)計(jì)系統(tǒng)軟中斷的運(yùn)行情況（數(shù)量、速率等）。	sysak softirq [ option ] [ args ] -s：指定初始數(shù)據(jù)源文件。 -r：輸出到指定文件。