建表并上傳數(shù)據(jù)
本文以創(chuàng)建表bank_data和result_table為例,為您介紹如何通過DataWorks創(chuàng)建表并上傳數(shù)據(jù)。
前提條件
已在工作空間添加MaxCompute數(shù)據(jù)源,并在數(shù)據(jù)開發(fā)中綁定對應(yīng)MaxCompute數(shù)據(jù)源后,當(dāng)前頁面才會(huì)顯示MaxCompute目錄。
工作空間添加MaxCompute數(shù)據(jù)源,詳情請參見創(chuàng)建MaxCompute數(shù)據(jù)源。
數(shù)據(jù)開發(fā)中綁定MaxCompute數(shù)據(jù)源,請?jiān)跀?shù)據(jù)開發(fā)控制臺(tái)左側(cè)導(dǎo)航欄單擊數(shù)據(jù)源,根據(jù)提示進(jìn)行操作。
背景信息
表bank_data用于存儲(chǔ)業(yè)務(wù)數(shù)據(jù),表result_table用于存儲(chǔ)數(shù)據(jù)分析后產(chǎn)生的結(jié)果。
創(chuàng)建表bank_data
進(jìn)入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺(tái),切換至目標(biāo)地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。
在數(shù)據(jù)開發(fā)頁面,鼠標(biāo)懸停至圖標(biāo),單擊 。
您也可以打開相應(yīng)的業(yè)務(wù)流程,右鍵單擊MaxCompute,選擇新建表。
在新建表對話框中,選擇相應(yīng)的路徑,輸入名稱為bank_data,單擊新建。
在表的編輯頁面,單擊DDL。
在DDL對話框中,輸入如下建表語句,單擊生成表結(jié)構(gòu)。
CREATE TABLE IF NOT EXISTS bank_data ( age BIGINT COMMENT '年齡', job STRING COMMENT '工作類型', marital STRING COMMENT '婚否', education STRING COMMENT '教育程度', default STRING COMMENT '是否有信用卡', housing STRING COMMENT '房貸', loan STRING COMMENT '貸款', contact STRING COMMENT '聯(lián)系途徑', month STRING COMMENT '月份', day_of_week STRING COMMENT '星期幾', duration STRING COMMENT '持續(xù)時(shí)間', campaign BIGINT COMMENT '本次活動(dòng)聯(lián)系的次數(shù)', pdays DOUBLE COMMENT '與上一次聯(lián)系的時(shí)間間隔', previous DOUBLE COMMENT '之前與客戶聯(lián)系的次數(shù)', poutcome STRING COMMENT '之前市場活動(dòng)的結(jié)果', emp_var_rate DOUBLE COMMENT '就業(yè)變化速率', cons_price_idx DOUBLE COMMENT '消費(fèi)者物價(jià)指數(shù)', cons_conf_idx DOUBLE COMMENT '消費(fèi)者信心指數(shù)', euribor3m DOUBLE COMMENT '歐元存款利率', nr_employed DOUBLE COMMENT '職工人數(shù)', y BIGINT COMMENT '是否有定期存款' );
創(chuàng)建表的更多SQL語法請參見創(chuàng)建表。
在確認(rèn)操作對話框中,單擊確認(rèn)。
生成表結(jié)構(gòu)后,在基本屬性模塊輸入表的中文名,并分別單擊提交到開發(fā)環(huán)境和提交到生產(chǎn)環(huán)境。
說明本示例以標(biāo)準(zhǔn)模式的工作空間為例。如果您使用的是簡單模式的工作空間,僅單擊提交到生產(chǎn)環(huán)境即可。
在左側(cè)導(dǎo)航欄,單擊表管理。
在表管理頁面,雙擊打開相應(yīng)的表名,查看表信息。
創(chuàng)建表result_table
在數(shù)據(jù)開發(fā)頁面,鼠標(biāo)懸停至圖標(biāo),單擊 。
您也可以打開相應(yīng)的業(yè)務(wù)流程,右鍵單擊MaxCompute,選擇新建表。
在新建表對話框中,選擇相應(yīng)的路徑,輸入表名為result_table,單擊新建。
在DDL模式對話框中,輸入如下建表語句,單擊生成表結(jié)構(gòu)。
CREATE TABLE IF NOT EXISTS result_table ( education STRING COMMENT '教育程度', num BIGINT COMMENT '人數(shù)' );
在確認(rèn)操作對話框中,單擊確認(rèn)。
生成表結(jié)構(gòu)后,在基本屬性區(qū)域輸入表的中文名,并分別單擊提交到開發(fā)環(huán)境和提交到生產(chǎn)環(huán)境。
在左側(cè)導(dǎo)航欄,單擊表管理。
在表管理頁面,雙擊打開相應(yīng)的表名,查看表信息。
本地?cái)?shù)據(jù)上傳至bank_data
DataWorks支持以下操作:
上傳本地的文本文件至工作空間的表中。
通過數(shù)據(jù)集成模塊,從多個(gè)不同的數(shù)據(jù)源導(dǎo)入業(yè)務(wù)數(shù)據(jù)至工作空間。
本地文本文件上傳的限制如下:
文件類型:僅支持.txt、.csv和.log類型的文件。
文件大小:不能超過30MB。
如果您需要上傳超過30MB的文件,則可以使用如下方式:
將數(shù)據(jù)文件上傳至OSS,使用MaxCompute外部表映射的方式獲取OSS中相應(yīng)的文件數(shù)據(jù)。上傳數(shù)據(jù)至OSS,詳情請參見上傳文件,MaxCompute外部表映射,詳情請參見外部表。
將數(shù)據(jù)文件上傳至OSS,使用數(shù)據(jù)集成功能將OSS的數(shù)據(jù)同步至MaxCompute表。上傳數(shù)據(jù)至OSS,詳情請參見上傳文件,同步OSS數(shù)據(jù)至MaxCompute表,詳情請參見通過向?qū)J脚渲秒x線同步任務(wù)。
使用
功能。
操作對象:支持分區(qū)表導(dǎo)入和非分區(qū)表導(dǎo)入,但不支持分區(qū)值為中文、and(&)、星號(hào)(*)等特殊字符。
以導(dǎo)入本地文件banking.txt至DataWorks為例,操作如下:
在數(shù)據(jù)開發(fā)頁面,單擊圖標(biāo)。
在數(shù)據(jù)導(dǎo)入向?qū)?/b>對話框中,至少輸入3個(gè)字母來搜索需要導(dǎo)入數(shù)據(jù)的bank_data表,單擊下一步。
說明如果您創(chuàng)建表后無法在此處搜索到該表,您可以先在數(shù)據(jù)地圖進(jìn)行手工同步表操作后,再在此處嘗試搜索該表,手工同步詳情可參考文檔:手動(dòng)刷新表元數(shù)據(jù)。
選擇數(shù)據(jù)導(dǎo)入方式為上傳本地?cái)?shù)據(jù),單擊選擇文件后的瀏覽...。選擇本地?cái)?shù)據(jù)文件,配置導(dǎo)入信息。
參數(shù)
描述
選擇數(shù)據(jù)導(dǎo)入方式
默認(rèn)上傳本地文件。
文件格式
您可以選擇csv和自定義文本文件兩種格式。
選擇文件
單擊瀏覽...,選擇本地需要上傳的文件。
選擇分隔符
包括逗號(hào)、Tab、分號(hào)、空格、|、#和&等分隔符,此處選擇逗號(hào)。
原始字符集
包括GBK、UTF-8、CP936和ISO-8859,此處選擇GBK。
導(dǎo)入起始行
選擇導(dǎo)入的起始行,此處選擇1。
首行為標(biāo)題
根據(jù)自身需求,設(shè)置首行是否為標(biāo)題。本示例無需選中首行為標(biāo)題。
數(shù)據(jù)預(yù)覽
您可以在此處進(jìn)行數(shù)據(jù)預(yù)覽。
單擊下一步。
選擇目標(biāo)表字段與源字段的匹配方式,本示例選擇按位置匹配。
單擊導(dǎo)入數(shù)據(jù)。
后續(xù)步驟
現(xiàn)在,您已經(jīng)學(xué)習(xí)了如何創(chuàng)建表并上傳數(shù)據(jù),您可以繼續(xù)下一個(gè)教程。在該教程中,您將學(xué)習(xí)如何通過創(chuàng)建、配置和提交業(yè)務(wù)流程,對工作空間的數(shù)據(jù)進(jìn)行深入分析和計(jì)算。詳情請參見創(chuàng)建業(yè)務(wù)流程。