日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

LLM大語言模型數(shù)據(jù)處理-github code-DLC組件

更新時(shí)間:

LLM數(shù)據(jù)處理算法提供了對(duì)數(shù)據(jù)樣本進(jìn)行編輯和轉(zhuǎn)換、過濾低質(zhì)量樣本、識(shí)別和刪除重復(fù)樣本等功能。您可以根據(jù)實(shí)際需求組合不同的算法,從而過濾出合適的數(shù)據(jù)并生成符合要求的文本,方便為后續(xù)的LLM訓(xùn)練提供優(yōu)質(zhì)的數(shù)據(jù)。本文以開源RedPajama-Data中的少量數(shù)據(jù)為例,為您介紹如何使用PAI提供的大模型數(shù)據(jù)處理組件,對(duì)GitHub代碼數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和處理。

數(shù)據(jù)集說明

本文Designer中“LLM大語言模型數(shù)據(jù)處理-github code-DLC組件”預(yù)置模板用的數(shù)據(jù)集為開源項(xiàng)目RedPajama-Data的原始數(shù)據(jù)中抽取的5000個(gè)樣本數(shù)據(jù)。

創(chuàng)建并運(yùn)行工作流

  1. 進(jìn)入Designer頁面。

    1. 登錄PAI控制臺(tái)

    2. 在頂部左上角根據(jù)實(shí)際情況選擇地域。

    3. 在左側(cè)導(dǎo)航欄選擇工作空間列表,單擊指定工作空間名稱,進(jìn)入對(duì)應(yīng)工作空間。

    4. 在左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練 > 可視化建模(Designer),進(jìn)入Designer頁面。

  2. 創(chuàng)建工作流。

    1. 預(yù)置模板頁簽下,選擇業(yè)務(wù)領(lǐng)域 > LLM 大語言模型,單擊LLM大語言模型數(shù)據(jù)處理-github code - DLC組件模板卡片上的創(chuàng)建

      image

    2. 配置工作流參數(shù)(或保持默認(rèn)),單擊確定

    3. 在工作流列表,選擇已創(chuàng)建的工作流,單擊進(jìn)入工作流。

  3. 工作流說明:

    image

    工作流中關(guān)鍵算法組件說明:

    • LLM-敏感信息打碼(DLC)-1

      將“content”字段中的敏感信息打碼。例如:

      • 將郵箱地址字符替換成[EMAIL]

      • 將手機(jī)電話號(hào)碼替換成[TELEPHONE][MOBILEPHONE]

      • 將身份證號(hào)碼替換成IDNUM

    • LLM-特殊內(nèi)容移除(DLC)-1

      將“content”字段中的URL鏈接刪除。

    • LLM-文本標(biāo)準(zhǔn)化(DLC)-1

      將“content”字段中的文本進(jìn)行Unicode標(biāo)準(zhǔn)化處理。

    • LLM-Copyright信息移除(DLC)-1

      刪除“content”字段中的Copyright信息。

    • LLM-計(jì)數(shù)過濾(DLC)-1

      將“content”字段中不符合數(shù)字和字母字符占比,和不符合字母字符占文本token比例的樣本去除。GitHub代碼數(shù)據(jù)集中大部分字符都由字母和數(shù)字組成,通過該組件可以去除部分臟數(shù)據(jù)。

    • LLM-長(zhǎng)度過濾(DLC)-1

      根據(jù)“content”字段的長(zhǎng)度、平均長(zhǎng)度以及最大行長(zhǎng)度進(jìn)行樣本過濾。平均長(zhǎng)度以及最大行長(zhǎng)度基于換行符\n分割樣本。

    • LLM-N-Gram重復(fù)比率過濾(DLC)-1

      根據(jù)“content”字段的字符級(jí)N-Gram重復(fù)比率和詞語級(jí)N-Gram重復(fù)比率(會(huì)先將所有單詞轉(zhuǎn)成小寫格式再計(jì)算重復(fù)度)進(jìn)行樣本過濾,即將文本里的內(nèi)容按照字符進(jìn)行大小為N的滑動(dòng)窗口操作,形成了長(zhǎng)度為N的片段序列。每一個(gè)片段稱為gram,對(duì)所有gram的出現(xiàn)次數(shù)進(jìn)行統(tǒng)計(jì)。最后統(tǒng)計(jì)頻次大于1gram的頻次總和 / 所有gram的頻次總和兩者比率作為重復(fù)比率進(jìn)行樣本過濾。

    • LLM-長(zhǎng)度過濾(DLC)-2

      根據(jù)“content”字段的長(zhǎng)度進(jìn)行樣本過濾。

    • LLM-文章相似度去重(DLC)-1

      根據(jù)設(shè)置的window_size、num_blockshamming_distance值去除相似的樣本。

  4. 運(yùn)行工作流。

    運(yùn)行結(jié)束后,右鍵單擊LLM-文章相似度去重(DLC)-1組件,選擇查看數(shù)據(jù) > 輸出數(shù)據(jù)(OSS),查看經(jīng)過上述所有組件處理后的樣本文件。

    image

相關(guān)參考