模型調優流程

步驟一：選擇調優方式

前往模型調優頁面，點擊“訓練新模型”按鈕。

SFT 與 DPO 如何選擇

SFT（有監督微調，Supervised Fine-Tuning）目的是通過針對性的數據集和訓練，提升模型在特定場景/業務中的表現，適合基于大量數據為您的應用進行模型定制，訓練數據集數據只提供正樣本。

DPO（直接偏好優化，Direct Preference Optimization）訓練數據集數據同時提供正負樣本，目的是引入負反饋，降低幻覺，使得模型輸出對齊人類的價值觀或偏好，適合基于用戶反饋，在應用上線后快速迭代優化模型表現。

{"messages": [
  {"role": "system", "content": "<系統輸入1>"}, 
  {"role": "user", "content": "<用戶輸入1>"}, 
  {"role": "assistant", "content": "<模型期望輸出1>"}, 
  {"role": "user", "content": "<用戶輸入2>"}, 
  {"role": "assistant", "content": "<模型期望輸出2>"}
  ...
  ...
  ...
  ]
}

{"messages":[
  {"role":"user",
    "content":[
      {"text":"<用戶輸入1>"},
      {"image":"<圖像文件名1>"}]},
  {"role":"assistant",
    "content":[
      {"text":"<模型期望輸出1>"}]},
  {"role":"user",
    "content":[
      {"text":"<用戶輸入2>"}]},
  {"role":"assistant",
    "content":[
      {"text":"<模型期望輸出2>"}]},
  ...
  ...
  ...
 ]}

{"messages":[
  {"role":"system","content":"<系統輸入>"},
  {"role":"user","content":"<用戶輸入1>"},
  {"role":"assistant","content":"<模型輸出1>"},
  {"role":"user","content":"<用戶輸入2>"},
  {"role":"assistant","content":"<模型輸出2>"},
  {"role":"user","content":"<用戶輸入3>"}],
 "chosen":
   {"role":"assistant","content":"<贊同的模型期望輸出3>"},
 "rejected":
   {"role":"assistant","content":"<反對的模型期望輸出3>"}}

兩種訓練方式的數據量要求請參見數據集的規模要求。

百煉推薦您以先 SFT 后 DPO 的順序使用模型調優：

1. 在應用上線前，先收集足夠多（1000+）的特定場景/業務的正樣本，即收集場景/業務輸入+模型期望輸出，進行SFT 訓練。

2. 您的應用試運行/上線后，收集足夠多（100+）的用戶反饋（如：點贊、點踩、反饋）或者 bad case，將這些數據制作成 DPO 訓練集，進行 DPO 訓練。

模型選擇

如果您是第一次進行模型調優，請選擇您期望的預置模型。

如果您是因為模型訓練效果不好需要再次訓練某個模型，請選擇自定義模型 > 您需要二次訓練的模型。

支持的預置模型：

全參訓練與高效訓練

• 全參訓練通過全量更新模型參數的方式進行學習。

• 高效訓練采用低秩適應（Low-Rank Adaptation，LoRA）的方式，通過矩陣分解的方法，更新分解后的低秩部分參數。

由于兩種訓練方式的費用相同，百煉推薦您如果模型支持全參訓練，請優先選擇全參訓練，因為全參訓練效果比高效訓練效果要好，性價比更高。

步驟二：選擇訓練數據

數據集構建技巧請參考數據集構建技巧。上傳微調數據集請前往模型數據頁面。

選擇驗證數據 > 自動切分 的比例為訓練集 : 驗證集 = 8 : 2。 如果您希望改變這個比例，您可以手動從完整數據集中切分出驗證集單獨上傳， 然后 選擇驗證數據 > 選擇驗證集 > 選擇您手動切分上傳的驗證集。

步驟三（可選）：添加混合訓練數據

百煉提供添加混合訓練數據功能，您可以將您的訓練數據與千問通用多領域、多行業、多場景數據混合訓練，從而提高訓練效果避免模型基礎能力的遺失。

百煉推薦根據您的實際業務或場景添加合適的混合訓練數據類目和比例，比如自定義場景數據：“中文-對話”場景 = 1 ：1，您就可以把“中文-對話”場景倍率設為 1.0 倍。

步驟四：配置超參

如果您沒有微調經驗，百煉推薦您盡量不要調整“更多配置”內的參數設置。

超參介紹：（并不是所有模型都支持所有參數的調節，請以控制臺顯示為準）

學習率調整策略介紹

“學習率調整策略” 是在 超參配置 > 更多配置 下的第一個配置，配置包含8種不同的策略。

策略詳情請參見：

步驟六：訓練模型

點擊“開始訓練” > 確認“模型調優計費提醒” > 模型開始訓練

特定模型訓練時點擊“查看”按鈕可以查詢模型訓練詳情，包括：訓練損失（Training Loss）、驗證損失（Validation Loss）、驗證準確率（Validation Token Accuracy）、模型訓練過程中實時產生的日志。

訓練完成后，請確認訓練損失（Training Loss）與驗證損失（Validation Loss）的差異變化趨勢。

1. 如果訓練損失逐漸減小而驗證損失逐漸增大，說明模型已經過擬合訓練數據，訓練可能失敗，訓練效果可能不佳。建議按照以下推薦方法（推薦程度有先后順序）進行優化，重新訓練，提升訓練效果：

   1. 使用數據增強，增加訓練數據多樣性和數據量。

   2. 收集更多訓練數據，增加訓練數據多樣性和數據量。

   3. 調整超參，包括：減少“訓練次數”、減小“學習率”、減小“批次大小”、增大“權重衰減”、提高“LoRA丟棄率”、提高“學習率預熱比例”。

2. 如果訓練損失沒有明顯變化或逐漸增大（不常見），說明模型欠擬合訓練數據，訓練失敗。建議按照以下推薦方法（推薦程度有先后順序）進行優化，繼續訓練：

   1. 檢查數據質量，確保數據清洗充分。

   2. 調整超參，包括：增大“訓練次數”、增大“學習率”、增大“批次大小”、減小“權重衰減”、降低“LoRA丟棄率”、降低“學習率預熱比例”。

3. 如果沒有上述情況請繼續后續步驟。

步驟七：部署模型

使用百煉的模型部署功能部署訓練好的自定義模型，部署好后就可以對微調好的模型進行評測。模型部署相關信息請參見幫助中心：模型部署。

步驟八：評測模型

使用百煉模型評測功能評估自定義模型的訓練效果，相關信息請參見幫助中心：模型評測簡介。

常見問題

什么時候可以使用模型調優功能？

• 如果您并不是需要對文本生成模型進行調優，請直接前往Paraformer語音識別熱詞定制與管理頁面。

• 文本生成模型調優雖然能在特定業務/場景取得非常好的效果，但有以下限制：

  • 需要消耗非常多的時間成本，包括：構建一個有效（1000+）SFT 數據集、收集足夠的（100+）Bad Case 構建有效 DPO 數據集、模型優化迭代速度慢等。

  • 調優和調優后的模型使用費用都相對較高，具體細節請參考計費項與定價和計費項與定價。（最低為20元/小時）

• 百煉推薦您在考慮使用文本生成模型調優前先嘗試使用 Prompt 工程（Prompt Engineering）和插件調用（Function Calling）定制化您的應用，模型調優也通常作為改進模型表現“最后的手段”。因為：

  1. 在許多任務中，模型最初可能表現不佳，但通過應用正確的 Prompt 技巧可以改進結果，不一定需要使用模型調優。

  2. 迭代優化 Prompt、插件，比模型調優的迭代更敏捷、成本更低，因為模型調優的迭代可能需要重新收集數據、清洗優化數據、收集 bad case、發起客戶調研等。

  3. 即使最后一定要進行模型調優，最初的 Prompt 工程、插件迭代優化相關工作也不會浪費。您的這些前期工作可以充分地在構建調優數據集時復用（用于構建數據集的輸入）。

• 您可以前往百煉的Prompt 最佳實踐和插件概述學習相關知識，幫助您在不進行模型調優的情況下激發模型的最大潛力。

如果模型調優后，評測效果不好怎么辦？

1. 如果您使用的是人工評測，請檢查評測維度是否符合業務或場景。

2. 收集在模型評測時評測結果不佳的測試用例，統計分析評測結果不佳的原因，根據分析結果調整訓練數據集，繼續迭代微調模型。

3. 根據評測結果不佳的用例生成 DPO 用例，對模型進行 DPO 訓練。

模型調優、模型部署、模型評測怎么收費？

模型調優計費方式與模型調用計費方式相同，但費用會更高。模型評測按照模型調用計費。訓練好的模型在部署后只收取部署費用，不收取模型的調用費用。詳細數據請參考計費項與定價。