建表語(yǔ)句

假設(shè)數(shù)據(jù)表表名為test_maxcompute_table，那么done表表名為test_maxcompute_table_done。

#1.創(chuàng)建數(shù)據(jù)表：
CREATE TABLE IF NOT EXISTS test_maxcompute_table
(
  pk_id Bigint ,
  cate_id Bigint ,
  vector_array string 
)
PARTITIONED by 
(
  ds STRING
);

#2.創(chuàng)建數(shù)據(jù)表分區(qū)：
alter table test_maxcompute_table  add if not exists partition (ds="20230423");

#3.創(chuàng)建done表
create table test_maxcompute_table_done (attribute string) partitioned by (ds string);

#4.創(chuàng)建done表分區(qū)
alter table test_maxcompute_table_done  add if not exists partition (ds="20230423");


#5.在數(shù)據(jù)表中插入數(shù)據(jù)
insert into test_maxcompute_table partition (ds='20230423') select 1,'12345','xxx,xxx,xxx,xx....';

#6.done表中插入數(shù)據(jù)
insert into table ecom_table_done partition (ds="20230423") select '{"swift_start_timestamp":1682179200}';

授權(quán)語(yǔ)句

表權(quán)限，在配置MaxCompute 數(shù)據(jù)表時(shí)需要登錄OpenSearch的賬號(hào)對(duì)該表有相應(yīng)的權(quán)限（describe,select,download,字段的label權(quán)限）。

-- 添加賬號(hào)（該賬號(hào)為操作引擎實(shí)例的賬號(hào)）
add user ****@aliyun.com;

-- 給該賬號(hào)賦相應(yīng)的表權(quán)限
GRANT describe,select,download ON TABLE table_xxx TO USER ****@aliyun.com
GRANT describe,select,download ON TABLE table_xxx_done TO USER ****@aliyun.com

-- 由于MaxCompute開(kāi)啟了字段權(quán)限校驗(yàn)，導(dǎo)致拉取數(shù)據(jù)的時(shí)候無(wú)法訪問(wèn)高權(quán)限的字段，表索引build不出來(lái)，碰到這種情況需要授權(quán)給賬號(hào)字段級(jí)別的訪問(wèn)權(quán)限。
-- 給整個(gè)Project統(tǒng)一授權(quán)
SET LABEL 3 to USER ****@aliyun.com

-- 給單表授權(quán)
GRANT LABEL 3 ON TABLE table_xxx(col1, col2) TO ****@aliyun.com

MaxCompute數(shù)據(jù)源相關(guān)參數(shù)查找

參數(shù)	是否必填	說(shuō)明
數(shù)據(jù)源類型	是	選擇“MaxCompute”
數(shù)據(jù)源名稱	是	長(zhǎng)度限制為30個(gè)字符，有且只能有數(shù)字、字母、下劃線
project	是	MaxCompute的數(shù)據(jù)開(kāi)發(fā)頁(yè)面可查看 說(shuō)明 如果是標(biāo)準(zhǔn)版模式： 需要在項(xiàng)目名后加_dev，比如zy_ts_test >zy_ts_test_dev
accessKeyId	是	在賬號(hào)管理下可查看
accessKeySecret	是
table	是	數(shù)據(jù)表表名
分區(qū)	是	數(shù)據(jù)表分區(qū)，例如：ds=20230423，ds表示分區(qū)名