數據源配置均為Map[string]object的結構,其中key為自定義名稱,如下面配置中的holo_info、mysql_info,表示對此數據源的一個唯一性標識,可以在其他配置中引用。
Hologres
Hologres的配置對應配置總覽中的HologresConfs。
配置示例:
"HologresConfs": {
"holo_info": {
"DSN": "postgres://${AccessKey}:${AccessSecret}@<HOST>/<DATABASENAME>?sslmode=disable&connect_timeout=1"
}
}
字段名 | 類型 | 是否必填 | 描述 |
DSN | string | 是 | 由ak、host、db拼接的連接信息。 |
如果使用PAI-Rec控制臺進行配置,為了保持安全性,${AccessKey}:${AccessSecret}可以不用替換,引擎會自動替換。
Kafka
Kafka的配置對應配置總覽中的KafkaConfs。
配置示例:
"KafkaConfs":{
"kafka_info": {
"BootstrapServers":"",
"Topic":""
}
}
字段名 | 類型 | 是否必填 | 描述 |
BootstrapServers | string | 是 | Kafka Server連接信息。 |
Topic | string | 是 | Topic名稱。 |
Redis
Redis的配置對應配置總覽中的RedisConfs。
配置示例:
"RedisConfs":{
"redis_info":{
"Host":"",
"Port":6379,
"Password":"",
"DbNum":0,
"MaxIdle":0,
"ConnectTimeout":30,
"ReadTimeout":50,
"WriteTimeout":50
}
}
字段名 | 類型 | 是否必填 | 描述 |
Host | string | 是 | Host信息。 |
Port | int | 是 | Port信息。 |
Password | string | 是 | 登錄密碼。 |
DbNum | int | 否 | Redis數據庫,默認為0 。 |
MaxIdle | int | 否 | 閑置連接的最大數量。 |
ConnectTimeout | int | 否 | 連接時間。 |
ReadTimeout | int | 否 | 讀超時時間。 |
WriteTimeout | int | 否 | 寫超時時間。 |
Mysql
Mysql的配置對應配置總覽中的MysqlConfs。
配置示例:
"MysqlConfs": {
"mysql_info": {
"DSN": "<USERNAME>:<PASSWORD>@tcp(<HOST>)/<DATABASENAME>?parseTime=true&loc=Asia%2FShanghai"
}
}
字段名 | 類型 | 是否必填 | 描述 |
DSN | string | 是 | 由用戶名、密碼等拼接成的連接信息。 |
Graph
Graph的配置對應配置總覽中的GraphConfs。
配置示例:
"GraphConfs": {
"graph_info": {
"Host":"",
"UserName":"",
"Passwd":""
}
}
字段名 | 類型 | 是否必填 | 描述 |
Host | string | 是 | Host信息。 |
UserName | string | 是 | 用戶名。 |
Passwd | string | 是 | 密碼。 |
FeatureStore(特征平臺)
PAI-FeatureStore的配置對應配置總覽中的FeatureStoreConfs。PAI-FeatureStore如何使用,參考FeatureStore概述。
配置示例:
"FeatureStoreConfs": {
"fs_info": {
"RegionId":"cn-hangzhou",
"AccessId": "${AccessKey}",
"AccessKey":"${AccessSecret}",
"ProjectName":""
}
}
字段名 | 類型 | 是否必填 | 描述 |
RegionId | string | 是 | Region信息,比如cn-hangzhou、cn-beijing等。 |
AccessId | string | 是 | 賬號的AccessKeyId,這里無需顯示寫,系統(tǒng)會自動替換。 |
AccessKey | string | 是 | 賬號的AccessKeySecret,這里無需顯示寫,系統(tǒng)會自動替換。 |
ProjectName | string | 是 | FS內創(chuàng)建的項目名稱。 |
SLS
SLS的配置對應配置總覽中的SlsConfs。
配置示例:
"SlsConfs": {
"sls_info": {
"EndPoint":"",
"AccessKeyId":"${AccessKey}",
"AccessKeySecret":"${AccessSecret}",
"ProjectName":"",
"LogstoreName":"",
}
}
字段名 | 類型 | 是否必填 | 描述 |
EndPoint | string | 是 | Endpoint信息。 |
AccessKeyId | string | 是 | 賬號的AccessKeyId,這里無需顯示寫,系統(tǒng)會自動替換。 |
AccessKeySecret | string | 是 | 賬號的AccessKeySecret,這里無需顯示寫,系統(tǒng)會自動替換。 |
ProjectName | string | 是 | 項目名稱。 |
LogstoreName | string | 是 | 日志庫名稱。 |
DataHub
DataHub的配置對應配置總覽中的DataHubConfs。
配置示例:
"DatahubConfs": {
"datahub_info": {
"AccessId":"${AccessKey}",
"AccessKey":"${AccessSecret}",
"Endpoint":"",
"ProjectName":"",
"TopicName":"",
"Schemas":[]DatahubTopicSchema
}
}
字段名 | 類型 | 是否必填 | 描述 |
AccessId | string | 是 | 賬號的AccessKeyId,這里無需顯示寫,系統(tǒng)會自動替換。 |
AccessKey | string | 是 | 賬號的AccessKeySecret,這里無需顯示寫,系統(tǒng)會自動替換。 |
Endpoint | string | 是 | Endpoint信息。 |
ProjectName | string | 是 | 項目名稱。 |
TopicName | string | 是 | Topic名稱。 |
Schemas | []DatahubTopicSchema | 是 | Topic的Schema。 |
DatahubTopicSchema
字段名 | 類型 | 是否必填 | 描述 |
Field | string | 是 | Schema字段的名稱。 |
Type | string | 是 | Schema字段的類型,有效值為:string、integer、bigint、double、float、timestamp。 |
OTS(Tablestore)
Tablestore的配置對應配置總覽中的TableStoreConfs。
配置示例:
"TableStoreConfs": {
"tablestore_info": {
"EndPoint":"",
"InstanceName":"",
"AccessKeyId":"${AccessKey}",
"AccessKeySecret":"${AccessSecret}"
}
}
字段名 | 類型 | 是否必填 | 描述 |
EndPoint | string | 是 | Endpoint信息。 |
InstanceName | string | 是 | 實例名稱。 |
AccessKeyId | string | 是 | 賬號的AccessKeyId,這里無需顯示寫,系統(tǒng)會自動替換。 |
AccessKeySecret | string | 是 | 賬號的AccessKeySecret,這里無需顯示寫,系統(tǒng)會自動替換。 |