功能原理

Group Identity功能可以對每一個CPU cgroup設置身份標識，以區分cgroup中的任務優先級。Group Identity核心是雙紅黑樹設計，在CFS（Completely Fair Scheduler）調度隊列的單紅黑樹基礎上，新增了一棵低優先級的紅黑樹，用于存放低優先級任務。

接口說明

• 身份標識配置接口

  Group Identity提供了兩個用于設置任務身份標識的接口：/sys/fs/cgroup/cpu/$cg/cpu.identity與/sys/fs/cgroup/cpu/$cg/cpu.bvt_warp_ns。其中變量$cg表示任務實際所在的子cgroup目錄節點。在使用身份標識配置接口前，您需要注意：

  • cpu.bvt_warp_ns接口是快捷配置接口，寫入后會轉換為identity。

  • cpu.identity接口與cpu.bvt_warp_ns接口都是對cgroup的identity做更改。

  • cpu.identity接口寫入后會覆蓋cpu.bvt_warp_ns接口上次的寫入值，但不會在cpu.bvt_warp_ns接口中體現。

  • cpu.bvt_warp_ns接口寫入后會覆蓋cpu.identity接口上次的寫入值，但不會在cpu.identity接口中體現。

  • 您只需要使用任一接口設置任務的身份標識，不建議同時設置兩個接口。

  • 如果您不熟悉操作系統內核的相關操作，不建議使用cpu.identity接口。

  接口說明如下：

  接口	說明
  cpu.identity	默認取值為0，表示身份標識為ID_NORMAL。 該接口是一個位段，一共有5個比特位，該接口各個比特位的取值說明如下： 空值：表示身份標識為ID_NORMAL。 比特位0：表示身份標識為ID_UNDERCLASS。 比特位1：表示身份標識為ID_HIGHCLASS。 比特位2：表示身份標識為ID_SMT_EXPELLER。 比特位3：表示身份標識為ID_IDLE_SAVER。 比特位4：表示身份標識為ID_IDLE_SEEKER。 例如，如果設置一個cgroup的身份標識為ID_HIGHCLASS和ID_IDLE_SEEKER，那么將比特位1和4置為1，其他比特位置為0，得到的二進制表示為：10010，轉化為十進制為：18，則執行echo 18 > /sys/fs/cgroup/cpu/$cg/cpu.identity即可完成寫入。
  cpu.bvt_warp_ns	默認取值為0，表示身份標識為ID_NORMAL。該接口的取值說明如下： 2：表示同時具有身份標識ID_SMT_EXPELLER、ID_IDLE_SEEKER、ID_HIGHCLASS，對應的identity值為22。 1：表示同時具有身份標識ID_HIGHCLASS、ID_IDLE_SEEKER，對應的identity值為18。 0：表示身份標識為ID_NORMAL，對應的identity值為0。 -1：表示同時具有身份標識ID_UNDERCLASS、ID_IDLE_SAVER，對應的identity值為9。 -2：表示同時具有身份標識ID_UNDERCLASS、ID_IDLE_SAVER，對應的identity值為9。

  說明

  Alibaba Cloud Linux默認支持cgroup v1接口，在Alibaba Cloud Linux 3內核版本大于等于5.10.134-13的5.10內核中，Group Identity也支持cgroup v2接口

  /sys/fs/cgroup/$cg/cpu.identity與/sys/fs/cgroup/$cg/cpu.bvt_warp_ns，其中變量$cg表示任務實際所在的子cgroup目錄節點。

• 調度特性開關配置接口

  運行以下命令，您可以通過sched_features接口查看到內核調度特性的默認配置。

  sudo cat /sys/kernel/debug/sched_features

  具體說明如下：

  調度特性	說明	默認值
  ID_IDLE_AVG	該特性與ID_IDLE_SAVER身份標識配合，把ID_UNDERCLASS任務的運行時間計入空閑時長，防止只有ID_UNDERCLASS任務運行時仍保留空閑CPU（Idle CPU）的問題，避免資源浪費。	ID_IDLE_AVG：表示特性為啟用狀態。
  ID_RESCUE_EXPELLEE	該特性作用于負載均衡場景，如果任務無法找到可用的CPU資源，則正在進行驅逐ID_UNDERCLASS任務的CPU會成為負載均衡的目標。用于幫助ID_UNDERCLASS任務盡快擺脫被驅逐的狀態。	ID_RESCUE_EXPELLEE：表示特性為啟用狀態。
  ID_EXPELLEE_NEVER_HOT	該特性被啟用后，正在被驅逐的任務在判斷是否需要遷移至其他CPU時，不會因為熱緩存的原因而造成拒絕遷移。用于幫助ID_UNDERCLASS任務盡快擺脫被驅逐的狀態。	NO_ID_EXPELLEE_NEVER_HOT：表示特性為關閉狀態。
  ID_LOOSE_EXPEL	該特性被啟用后，CPU不會在每次選擇任務時更新驅逐狀態，而是根據內核參數sched_expel_update_interval設置的時間自動更新。該特性的開關僅影響CPU選擇任務時的狀態更新，不影響處理IPI中斷的更新。	NO_ID_LOOSE_EXPEL：表示特性為關閉狀態。
  ID_LAST_HIGHCLASS_STAY	該特性被啟用后，CPU上最后一個運行的ID_HIGHCLASS任務不會被遷移至其他CPU。	ID_LAST_HIGHCLASS_STAY：表示特性為啟用狀態。
  ID_EXPELLER_SHARE_CORE	該特性開啟時允許ID_SMT_EXPELLER的任務優先選擇已經有ID_SMT_EXPELLER任務的物理核，該特性關閉時則不允許。 該特性關閉時可以盡可能地把ID_SMT_EXPELLER的任務分散到各個物理核上，從而避免ID_SMT_EXPELLER任務之間的相互干擾。	ID_EXPELLER_SHARE_CORE：表示特性為啟用狀態。
  ID_ABSOLUTE_EXPEL	在Alibaba Cloud Linux 3的5.10.134-16.3內核中引入，在內核版本大于等于5.10.134-16.3的5.10內核中可以使用。開啟該特性后，身份為ID_UNDERCLASS的任務將受到絕對壓制，即運行隊列中只要有ID_NORMAL或者ID_HIGHCLASS任務，ID_UNDERCLASS的任務就無法得到調度，最壞情況將導致ID_UNDERCLASS任務餓死，因此開啟該特性前需評估混合部署場景中各種身份任務的負載情況。	NO_ID_ABSOLUTE_EXPEL：表示特性為關閉狀態。
  ID_LOAD_BALANCE	在Alibaba Cloud Linux 3的5.10.134-16.3內核中引入，在內核版本大于等于5.10.134-16.3的5.10內核中可以使用。開啟該特性后，調度器在負載均衡時，會將只有ID_UNDERCLASS任務的CPU視為空閑CPU，并會嘗試將ID_HIGHCLASS任務遷移到這種CPU上，會盡量將ID_HIGHCLASS打散，避免ID_HIGHCLASS任務之間的CPU競爭和HT干擾，使每個ID_HIGHCLASS任務都能獲得充足的CPU資源。	NO_ID_LOAD_BALANCE：表示特性為關閉狀態。

• 用于sysctl配置內核參數的接口

  Group Identity的部分功能的實現需要以內核參數的取值作為參考。相關內核參數的具體說明如下表：

  內核參數	說明	單位	默認值
  /proc/sys/kernel/sched_expel_update_interval	CPU在選擇任務時，驅逐狀態的自動更新時間間隔。僅在ID_LOOSE_EXPEL特性開啟時生效。	ms	10
  /proc/sys/kernel/sched_expel_idle_balance_delay	CPU在驅逐狀態下，idle balance的最小時間間隔。取值為-1時表示不允許進行idle balance。 當CPU上均為ID_UNDERCLASS任務且任務在被驅逐時，CPU的狀態可以理解為空閑狀態，在該狀態下CPU會進行idle balance以提高負載均衡的效果，但會對ID_UNDERCLASS任務造成損傷。通過設置sched_expel_idle_balance_delay參數可以緩解該問題。	ms	-1
  /proc/sys/kernel/sched_idle_saver_wmark	設置CPU空閑時間的水位線。當ID_IDLE_SAVER任務被喚醒時，只會嘗試找到高于該水位線的空閑CPU，不會嘗試找到低于該水位線的空閑CPU。	ns	0
  /proc/sys/kernel/sched_group_identity_enabled	從4.19.91-26.4開始，Group Identity新增開關/proc/sys/kernel/sched_group_identity_enabled。在使用Group Identity功能之前需要先執行echo 1 > /proc/sys/kernel/sched_group_identity_enabled打開該開關，否則將無法使用該功能。 開啟該開關后，如果cgroup的cpu.bvt_warp_ns或者cpu.identity非零，則無法向/proc/sys/kernel/sched_group_identity_enabled接口寫入數據。 說明 當內核版本為4.19.91-26.4.al7、4.19.91-26.5.al7、4.19.91-26.6.al7時，如果sched_group_identity_enabled已經被置為1，并且有cgroup的bvt被置為非零值，讀取/proc/sys/kernel/sched_group_identity_enabled會報error，這是接口讀取bug，不影響正常使用。4.19.91-27.al7以上版本的內核已修復該問題。	不涉及	0

信息輸出說明

cat /proc/sched_debug