數(shù)據(jù)集說明

本文Designer中“LLM大語(yǔ)言模型端到端鏈路-DLC組件：數(shù)據(jù)處理+模型訓(xùn)練+模型推理”預(yù)置模板用的數(shù)據(jù)集需遵循問答對(duì)格式，即包含問題字段instruction和答案字段output。

創(chuàng)建并運(yùn)行工作流

1. 進(jìn)入Designer頁(yè)面。

   1. 登錄PAI控制臺(tái)。

   2. 在頂部左上角根據(jù)實(shí)際情況選擇地域。

   3. 在左側(cè)導(dǎo)航欄選擇工作空間列表，單擊指定工作空間名稱，進(jìn)入對(duì)應(yīng)工作空間。

   4. 在左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練 > 可視化建模（Designer），進(jìn)入Designer頁(yè)面。

2. 創(chuàng)建工作流。

   1. 在預(yù)置模板頁(yè)簽下，選擇業(yè)務(wù)領(lǐng)域 > LLM 大語(yǔ)言模型，單擊LLM大語(yǔ)言模型端到端鏈路-DLC組件：數(shù)據(jù)處理+模型訓(xùn)練+模型推理模板卡片上的創(chuàng)建。

      

   2. 配置工作流參數(shù)（或保持默認(rèn)），單擊確定。

   3. 在工作流列表，選擇已創(chuàng)建的工作流，單擊進(jìn)入工作流。

3. 工作流說明：

   工作流中關(guān)鍵算法組件說明： LLM-文本標(biāo)準(zhǔn)化（DLC）-1/LLM-文本標(biāo)準(zhǔn)化（DLC）-2 分別將“instruction”和“output”字段中的文本進(jìn)行Unicode標(biāo)準(zhǔn)化處理，同時(shí)將繁體轉(zhuǎn)簡(jiǎn)體。 LLM-敏感信息打碼（DLC）-1/LLM-敏感信息打碼（DLC）-2 分別將“instruction”和“output”字段中的敏感信息打碼。例如： 將郵箱地址字符替換成[EMAIL]。 將手機(jī)電話號(hào)碼替換成[TELEPHONE]或[MOBILEPHONE]。 將身份證號(hào)碼替換成IDNUM。 LLM模型訓(xùn)練 根據(jù)選擇的模型及對(duì)應(yīng)訓(xùn)練方式進(jìn)行模型訓(xùn)練。模型來源于PAI-QuickStart中，底層計(jì)算基于DLC容器任務(wù)。訓(xùn)練方式需和模型對(duì)應(yīng)，各模型支持的訓(xùn)練方式如下： qwen-7b：支持QLoRA、全參微調(diào)。 qwen-7b-chat：支持QLoRA、全參微調(diào)。 qwen-1_8b-chat：支持QLoRA。 llama-2-7b：支持QLoRA、全參微調(diào)。 llama-2-7b-chat：支持QLoRA、全參微調(diào)。 baichuan2-7b-base：支持QLoRA、LoRA、全參微調(diào)。 baichuan2-7b-chat：支持QLoRA、LoRA、全參微調(diào)。 chatglm3-6b：支持QLoRA、LoRA。 LLM模型離線推理 根據(jù)選擇的模型進(jìn)行離線推理。

4. 運(yùn)行工作流。

   運(yùn)行結(jié)束后，右鍵單擊LLM模型離線推理組件，選擇查看數(shù)據(jù) > 推理結(jié)果保存目錄（OSS），查看推理結(jié)果。

   

更多應(yīng)用

您也可以使用經(jīng)過相同預(yù)處理的數(shù)據(jù)，同時(shí)針對(duì)多個(gè)模型進(jìn)行訓(xùn)練和推理。例如，構(gòu)建如下工作流并行地對(duì)qwen-7b-chat和llama2-7b-chat兩個(gè)模型進(jìn)行微調(diào)，然后使用同一批測(cè)試數(shù)據(jù)來比較它們推理后生成的結(jié)果。

相關(guān)參考

• LLM算法組件詳細(xì)說明，請(qǐng)參見LLM數(shù)據(jù)處理（DLC）。

• LLM模型訓(xùn)練與推理組件詳細(xì)說明，請(qǐng)參見大模型訓(xùn)練和推理。