創(chuàng)建數(shù)據(jù)導(dǎo)入配置

1. 登錄日志服務(wù)控制臺(tái)。

2. 在接入數(shù)據(jù)區(qū)域的數(shù)據(jù)導(dǎo)入頁(yè)簽中，選擇OSS-數(shù)據(jù)導(dǎo)入。

3. 選擇目標(biāo)Project和Logstore，單擊下一步。

4. 設(shè)置導(dǎo)入配置。

   1. 在導(dǎo)入配置步驟中，設(shè)置如下參數(shù)。

      參數(shù)設(shè)置

      參數(shù)	說(shuō)明
      任務(wù)名稱	SLS任務(wù)的唯一名稱。
      顯示名稱	任務(wù)顯示名稱。
      任務(wù)描述	導(dǎo)入任務(wù)的描述。
      OSS區(qū)域	待導(dǎo)入的OSS文件所在Bucket的地域。 如果OSS Bucket和日志服務(wù)Project處于同一地域，可節(jié)省公網(wǎng)流量且傳輸速度快。
      Bucket	待導(dǎo)入的OSS文件所在的Bucket。
      文件路徑前綴過(guò)濾	通過(guò)文件路徑前綴過(guò)濾OSS文件，用于準(zhǔn)確定位待導(dǎo)入的文件。例如待導(dǎo)入的文件都在csv/目錄下，則可以指定前綴為csv/。 如果不設(shè)置該參數(shù)，則遍歷整個(gè)OSS Bucket。 說(shuō)明 建議設(shè)置該參數(shù)。當(dāng)Bucket中的文件數(shù)量非常多時(shí)，全量遍歷將導(dǎo)致數(shù)據(jù)導(dǎo)入效率非常低。
      文件路徑正則過(guò)濾	通過(guò)文件路徑的正則表達(dá)式過(guò)濾OSS文件，用于準(zhǔn)確定位待導(dǎo)入的文件。只有文件名（包含文件路徑）匹配該正則表達(dá)式的文件才會(huì)被導(dǎo)入。默認(rèn)為空，表示不過(guò)濾。 例如OSS文件為testdata/csv/bill.csv，您可以設(shè)置正則表達(dá)式為(testdata/csv/)(.*)。 調(diào)整正則表達(dá)式的方法，請(qǐng)參見(jiàn)如何調(diào)試正則表達(dá)式。
      文件修改時(shí)間過(guò)濾	通過(guò)文件修改時(shí)間過(guò)濾OSS文件，用于準(zhǔn)確定位待導(dǎo)入的文件。 所有：如果您想導(dǎo)入所有符合條件的文件，請(qǐng)選擇該項(xiàng)。 某個(gè)時(shí)間開(kāi)始：如果您想導(dǎo)入某個(gè)時(shí)間點(diǎn)后修改過(guò)的文件，請(qǐng)選擇該項(xiàng)。 特定時(shí)間范圍：如果您想導(dǎo)入某個(gè)時(shí)間范圍內(nèi)修改過(guò)的文件，請(qǐng)選擇該項(xiàng)。
      數(shù)據(jù)格式	文件的解析格式，如下所示。 CSV：分隔符分割的文本文件，支持指定文件中的首行為字段名稱或手動(dòng)指定字段名稱。除字段名稱外的每一行都會(huì)被解析為日志字段的值。 單行JSON：逐行讀取OSS文件，將每一行看做一個(gè)JSON對(duì)象進(jìn)行解析。解析后，JSON對(duì)象中的各個(gè)字段對(duì)應(yīng)為日志中的各個(gè)字段。 單行文本日志：將OSS文件中的每一行解析為一條日志。 跨行文本日志：多行模式，支持指定首行或者尾行的正則表達(dá)式解析日志。 ORC：ORC文件格式，無(wú)需任何配置，自動(dòng)解析成日志格式。 Parquet：Parquet格式，無(wú)需任何配置，自動(dòng)解析成日志格式。 阿里云OSS訪問(wèn)日志：阿里云OSS訪問(wèn)日志格式。更多信息，請(qǐng)參見(jiàn)日志轉(zhuǎn)存。 阿里云CDN下載日志：阿里云CDN下載日志格式。更多信息，請(qǐng)參見(jiàn)下載離線日志。
      壓縮格式	待導(dǎo)入的OSS文件的壓縮格式，日志服務(wù)根據(jù)對(duì)應(yīng)格式進(jìn)行解壓并讀取數(shù)據(jù)。
      編碼格式	待導(dǎo)入的OSS文件的編碼格式。目前僅支持UTF-8和GBK。
      檢查新文件周期	如果目標(biāo)OSS文件路徑中不斷有新文件產(chǎn)生，您可以根據(jù)需求設(shè)置檢查新文件周期。設(shè)置后，導(dǎo)入任務(wù)會(huì)一直在后臺(tái)運(yùn)行，自動(dòng)周期性地發(fā)現(xiàn)并讀取新文件（后臺(tái)保證不會(huì)將同一個(gè)OSS文件中的數(shù)據(jù)重復(fù)寫(xiě)入到日志服務(wù)）。 如果目標(biāo)OSS文件路徑中不再產(chǎn)生新文件，請(qǐng)修改為永不檢查，即導(dǎo)入任務(wù)讀取完所有符合條件的文件后，將自動(dòng)退出。
      導(dǎo)入歸檔文件	如果待導(dǎo)入的OSS文件為普通歸檔存儲(chǔ)或者冷歸檔存儲(chǔ)，則需要解凍后才能讀取。開(kāi)啟此功能，則歸檔文件會(huì)自動(dòng)解凍。暫不支持深度冷歸檔。 說(shuō)明 解凍普通歸檔文件需耗時(shí)1分鐘左右，可能導(dǎo)致第一次預(yù)覽超時(shí)。超時(shí)后，請(qǐng)等待一段時(shí)間再重試。 解凍冷歸檔文件需耗時(shí)1小時(shí)左右，預(yù)覽超時(shí)后，可以選擇跳過(guò)預(yù)覽或者等待1小時(shí)后再次進(jìn)行預(yù)覽。 解凍冷歸檔文件時(shí)，默認(rèn)采用7天的解凍有效期，以保證有足夠的時(shí)間導(dǎo)入冷歸檔文件。
      日志時(shí)間配置
      時(shí)間字段	當(dāng)選擇數(shù)據(jù)格式為CSV、單行JSON、ORC、Parquet、阿里云OSS訪問(wèn)日志或阿里云CDN下載日志時(shí)，您需要設(shè)置一個(gè)時(shí)間字段，即設(shè)置為OSS文件中代表時(shí)間的列名，用于指定導(dǎo)入日志到日志服務(wù)時(shí)的時(shí)間。
      提取時(shí)間正則	當(dāng)選擇數(shù)據(jù)格式為單行文本日志或跨行文本日志，您需要使用正則表達(dá)式提取日志中的時(shí)間。 例如日志樣例為127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1"時(shí)，則您可以設(shè)置提取時(shí)間正則為[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+。 說(shuō)明 針對(duì)其他類型的數(shù)據(jù)格式，如果您只需提取時(shí)間字段中的部分內(nèi)容，也可通過(guò)正則表達(dá)式提取。
      時(shí)間字段格式	指定時(shí)間格式，用于解析時(shí)間字段的值。 支持Java SimpleDateFormat語(yǔ)法的時(shí)間格式，例如yyyy-MM-dd HH:mm:ss。時(shí)間格式的語(yǔ)法詳情，請(qǐng)參見(jiàn)Class SimpleDateFormat。常見(jiàn)的時(shí)間格式，請(qǐng)參見(jiàn)時(shí)間格式。 支持epoch格式，包括epoch、epochMillis、epochMicro和epochNano。
      時(shí)間字段分區(qū)	選擇時(shí)間字段對(duì)應(yīng)的時(shí)區(qū)。當(dāng)時(shí)間字段格式為epoch類別時(shí)，不需要設(shè)置時(shí)區(qū)。 如果解析日志時(shí)間需要考慮夏令時(shí)，可以選擇UTC格式；否則，選擇GMT格式。
      高級(jí)配置
      使用OSS元數(shù)據(jù)索引	當(dāng)OSS文件數(shù)量超過(guò)百萬(wàn)時(shí)，強(qiáng)烈建議開(kāi)啟，否則發(fā)現(xiàn)新文件的效率很低。采用OSS元數(shù)據(jù)索引后，可以在秒級(jí)內(nèi)發(fā)現(xiàn)OSS Bucket中的新文件，實(shí)現(xiàn)近實(shí)時(shí)導(dǎo)入Bucket中新寫(xiě)入文件的數(shù)據(jù)。 在使用OSS元數(shù)據(jù)索引前，需先在OSS側(cè)開(kāi)通OSS元數(shù)據(jù)索引管理功能。具體操作，請(qǐng)參見(jiàn)數(shù)據(jù)索引。

      當(dāng)選擇數(shù)據(jù)格式為CSV或跨行文本日志時(shí)，需額外設(shè)置相關(guān)參數(shù)，具體說(shuō)明如下表所示。

      CSV

      參數(shù)	說(shuō)明
      分隔符	設(shè)置日志的分隔符，默認(rèn)值為半角逗號(hào)（,）。
      引號(hào)	CSV字符串所使用的引號(hào)字符。
      轉(zhuǎn)義符	配置日志的轉(zhuǎn)義符，默認(rèn)值為反斜線（\）。
      日志最大跨行數(shù)	當(dāng)一條日志跨多行時(shí)，需要指定最大行數(shù)，默認(rèn)值為1。
      首行作為字段名稱	打開(kāi)首行作為字段名稱開(kāi)關(guān)后，將使用CSV文件中的首行作為字段名稱。例如提取下圖中的首行為日志字段的名稱。
      自定義字段列表	關(guān)閉首行作為字段名稱開(kāi)關(guān)后，請(qǐng)根據(jù)需求自定義日志字段名稱，多個(gè)字段名稱之間用半角逗號(hào)（,）隔開(kāi)。
      跳過(guò)行數(shù)	指定跳過(guò)的日志行數(shù)。例如設(shè)置為1，則表示從CSV文件中的第2行開(kāi)始采集日志。

      跨文本日志

      參數(shù)	說(shuō)明
      正則匹配位置	設(shè)置正則表達(dá)式匹配的位置，具體說(shuō)明如下： 首行正則：使用正則表達(dá)式匹配一條日志的行首，未匹配部分為該條日志的一部分，直到達(dá)到最大行數(shù)。 尾行正則：使用正則表達(dá)式匹配一條日志的行尾，未匹配部分為下一條日志的一部分，直到達(dá)到最大行數(shù)。
      正則表達(dá)式	根據(jù)日志內(nèi)容，設(shè)置正確的正則表達(dá)式。 調(diào)整正則表達(dá)式的方法，請(qǐng)參見(jiàn)如何調(diào)試正則表達(dá)式。
      最大行數(shù)	一條日志最大的行數(shù)。

   2. 單擊預(yù)覽，預(yù)覽導(dǎo)入結(jié)果。

   3. 確認(rèn)無(wú)誤后，單擊下一步。

5. 創(chuàng)建索引和預(yù)覽數(shù)據(jù)，然后單擊下一步。日志服務(wù)默認(rèn)開(kāi)啟全文索引。您也可以根據(jù)采集到的日志，手動(dòng)創(chuàng)建字段索引，或者單擊自動(dòng)生成索引，日志服務(wù)將自動(dòng)生成字段索引。更多信息，請(qǐng)參見(jiàn)創(chuàng)建索引。

   重要

   如果需要查詢?nèi)罩局械乃凶侄危ㄗh使用全文索引。如果只需查詢部分字段、建議使用字段索引，減少索引流量。如果需要對(duì)字段進(jìn)行分析（SELECT語(yǔ)句），必須創(chuàng)建字段索引。

6. 單擊查詢?nèi)罩?/b>，進(jìn)入查詢和分析頁(yè)面，確認(rèn)是否成功導(dǎo)入OSS數(shù)據(jù)。

   等待1分鐘左右，如果有目標(biāo)OSS數(shù)據(jù)導(dǎo)入，則說(shuō)明導(dǎo)入成功。

相關(guān)操作

創(chuàng)建導(dǎo)入配置成功后，您可以在控制臺(tái)中查看已創(chuàng)建的導(dǎo)入配置及生成的統(tǒng)計(jì)報(bào)表。

1. 在Project列表區(qū)域，單擊目標(biāo)Project。

2. 在日志存儲(chǔ) > 日志庫(kù)中，選擇目標(biāo)日志庫(kù)下的數(shù)據(jù)接入 > 數(shù)據(jù)導(dǎo)入，單擊配置名稱。

3. 查看任務(wù)

   在導(dǎo)入配置概覽頁(yè)面，查看導(dǎo)入配置的基本信息和統(tǒng)計(jì)報(bào)表。

   

   修改任務(wù)

   單擊修改配置，修改導(dǎo)入配置的相關(guān)信息。更多信息，請(qǐng)參見(jiàn)設(shè)置導(dǎo)入配置。

   刪除任務(wù)

   單擊刪除配置，刪除該導(dǎo)入配置。

   警告

   刪除后不可恢復(fù)，請(qǐng)謹(jǐn)慎操作。

   停止任務(wù)

   單擊停止，停止該導(dǎo)入任務(wù)。

常見(jiàn)問(wèn)題

錯(cuò)誤處理機(jī)制

OSS投遞接口