LLM-擴展LaTeX宏定義組件主要用于大語言模型(LLM)的文本數據預處理工作,適用于TEX文檔格式數據。主要功能是內聯擴展所有無參數的宏,宏如果由字母和數字組成且沒有參數,則將宏的名稱替換成宏的值。
支持的計算資源
算法說明
LLM-擴展LaTeX宏定義組件內聯擴展所有無參數的宏,正則表達式如下:
對比項 | 不帶參數的\newcommand宏 | 不帶參數的\def宏 |
正則表達式 |
|
|
正則表達式匹配的內容 |
|
|
說明 | macro_name只允許包含字母和數字,macro_value可以包含任何字符 |
提取所有滿足上述正則表達式的字符串,將macro_name
替換為macro_value
。示例如下:
處理前 | 處理后 |
配置組件
在Designer工作流頁面添加LLM-擴展LaTeX宏定義組件,并在界面右側配置相關參數:
參數類型 | 參數 | 描述 |
字段設置 | 選擇目標處理列 | 選擇要處理的列,支持多選。 |
設置輸出表生命周期 | 正整數,單位為天。默認28天,28天后該組件產生的臨時表被回收。 | |
執行調優 | 每個實例的cpu數目 | 設定map task每個instance的CPU數目,取值范圍:50~800,默認值:100。 |
每個實例的memory大小,單位M | 設定map task每個instance的memory大小,取值范圍:256~12288,默認值:1024,單位:MB。 | |
每個實例處理的數據大小,單位M | 設定map task每個instance的最大處理數據量,取值范圍:1~Integer.MAX_VALUE,默認值:256,單位:MB。 您可以通過控制這個變量,從而達到對map端輸入的控制。 |