前提條件

已安裝OSS Connector。具體操作，請參見安裝OSS Connector for AI/ML。

配置訪問憑證

1. 創(chuàng)建訪問憑證配置文件。

   mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials

2. 添加配置并保存。

   • 結(jié)構(gòu)體示例：

     {
       "AccessKeyId": "<Access-key-id>",
       "AccessKeySecret": "<Access-key-secret>",
       "SecurityToken": "<Security-Token>",
       "Expiration": "2024-08-02T15:04:05Z"
     }
     

     具體配置項說明請參見下表。

     配置項	是否必填	示例值	說明
     AccessKeyId	是	STS.L4aB******************	阿里云賬號或者RAM用戶的AccessKey ID和AccessKey Secret。 使用臨時訪問令牌進行權(quán)限配置時，請設置為臨時訪問憑證的AccessKey ID和AccessKey Secret。
     AccessKeySecret	是	At32************************
     SecurityToken	否	STS.6MC2***************************************	臨時訪問令牌。當使用從STS獲取的臨時訪問憑證訪問OSS時，需要設置此參數(shù)。 使用阿里云賬號或者RAM用戶的AccessKey ID和AccessKey Secret進行權(quán)限配置時，此配置應設置為空。
     Expiration	否	2024-08-02T15:04:05Z	鑒權(quán)信息過期時間，鑒權(quán)時間過期后OSS Connector會重新讀取鑒權(quán)信息，Expiration為空表示永不過期。 使用臨時訪問令牌進行權(quán)限配置時，建議設置具體過期時間。 使用阿里云賬號或者RAM用戶的AccessKey ID和AccessKey Secret進行權(quán)限配置時，此配置應設置為空。

   • 使用AccessKey ID和AccessKey Secret作為訪問憑證的配置示例：

     示例中的<Access-key-id>、<Access-key-secret>請分別替換為RAM用戶的AccessKey ID、AccessKeySecret。如何創(chuàng)建AccessKey ID和AccessKeySecret請參見創(chuàng)建AccessKey。

     {
       "AccessKeyId": "LTAI************************",
       "AccessKeySecret": "At32************************"
     }
     

   • 使用臨時訪問憑證的配置示例：

     說明

     在生產(chǎn)環(huán)境中長期使用的情況下，為確保數(shù)據(jù)的安全性，建議采用臨時訪問授權(quán)的方式，以避免直接暴露AK和SK。如果要進行臨時訪問授權(quán)， 需獲取臨時訪問憑證，具體內(nèi)容請參見使用STS臨時訪問憑證訪問OSS。獲取到臨時訪問憑證后將<Access-key-id>、<Access-key-secret>和<Security-Token>分別替換為臨時訪問憑證的AccessKey ID、AccessKey Secret和SecurityToken。

     {
       "AccessKeyId": "STS.L4aB******************,
       "AccessKeySecret": "wyLTSm*************************",
       "SecurityToken": "************",
       "Expiration": "2024-08-15T15:04:05Z"
     }
     

3. 執(zhí)行chmod 400 /root/.alibabacloud/credentials命令設置credentials文件只讀權(quán)限保障AK、SK密鑰安全。

配置OSS Connector

1. 創(chuàng)建OSS Connector配置文件。

   mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json

2. 添加配置并保存。

   正常情況下使用此默認配置即可。

   {
       "logLevel": 1,
       "logPath": "/var/log/oss-connector/connector.log",
       "auditPath": "/var/log/oss-connector/audit.log",
       "datasetConfig": {
           "prefetchConcurrency": 24,
           "prefetchWorker": 2
       },
       "checkpointConfig": {
           "prefetchConcurrency": 24,
           "prefetchWorker": 4,
           "uploadConcurrency": 64
       }
   }
   

   具體配置項說明請參見下表；如需進行配置調(diào)整，請先仔細閱讀說明后再進行操作。

   配置項		是否必填	示例值	說明
   logLevel		否	1	日志記錄級別。默認為INFO級別，實際使用時建議調(diào)整為WARN級別。 取值范圍為0、1、2、3，其中0表示Debug，1表示INFO，2表示WARN，3表示ERROR。
   logPath		否	/var/log/oss-connector/connector.log	connector日志路徑。默認路徑為/var/log/oss-connector/connector.log。
   auditPath		否	/var/log/oss-connector/audit.log	connector IO的審計日志，記錄延遲大于100毫秒的讀寫請求。默認路徑為/var/log/oss-connector/audit.log。
   DatasetConfig	prefetchConcurrency	否	24	使用Dataset從OSS預取數(shù)據(jù)時的并發(fā)數(shù)，默認為24。
   	prefetchWorker	否	2	使用Dataset從OSS預取可使用vCPU數(shù)，默認為2。
   checkpointConfig	prefetchConcurrency	否	24	使用checkpoint read從OSS預取數(shù)據(jù)時的并發(fā)數(shù)，默認為24。
   	prefetchWorker	否	4	使用checkpoint read從OSS預取可使用vCPU數(shù)，默認為4。
   	uploadConcurrency	否	64	使用checkpoint write上傳數(shù)據(jù)時的并發(fā)數(shù)，默認為64。

相關(guān)文檔

安裝并配置OSS Connector for AI/ML后，您可以在Pytorch訓練任務中：

• 使用OssMapDataset構(gòu)建適用于隨機讀取操作的映射式數(shù)據(jù)集。具體操作，請參見使用OSS中的數(shù)據(jù)構(gòu)建適用于隨機讀取的映射式數(shù)據(jù)集。

• 使用OssIterableDataset構(gòu)建適用于流式順序訪問的可迭代式數(shù)據(jù)集。具體操作，請參見使用OSS中的數(shù)據(jù)構(gòu)建適用于流式順序讀取的迭代式數(shù)據(jù)集。

• 使用OssCheckpoint實現(xiàn)OSS中Checkpoint的讀寫操作。具體操作，請參見使用OssCheckpoint讀寫checkpoint文件。