大數(shù)據(jù)上云及巡檢服務(wù)內(nèi)容說明
1.服務(wù)說明
1.1. 大數(shù)據(jù)遷移服務(wù)說明
隨著云計(jì)算的普及，越來越多的企業(yè)客戶選擇將計(jì)算平臺(tái)遷移至云上。大數(shù)據(jù)平臺(tái)遷移服務(wù)提供計(jì)算平臺(tái)遷移相關(guān)的遷移方案設(shè)計(jì)和遷移實(shí)施過程（包括數(shù)據(jù)遷移、任務(wù)遷移）中的技術(shù)支持。幫助客戶制定滿足客戶業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)平臺(tái)遷移改造技術(shù)方案，快速高效的實(shí)現(xiàn)數(shù)據(jù)/作業(yè)的遷移，保證數(shù)據(jù)的一致性。以解決以下客戶痛點(diǎn)：
對(duì)云計(jì)算平臺(tái)產(chǎn)品不熟悉，對(duì)大數(shù)據(jù)遷移沒有設(shè)計(jì)經(jīng)驗(yàn)，缺乏相應(yīng)的遷移方案設(shè)計(jì)能力。
數(shù)據(jù)遷移整體流程不熟悉，缺少實(shí)操經(jīng)驗(yàn)，包括流程管控和遷移實(shí)施經(jīng)驗(yàn)，遷移前后的數(shù)據(jù)的一致性，以及遷移工具使用出現(xiàn)問題，不知如何定位和排查，缺少技術(shù)指導(dǎo)和支持。
任務(wù)遷移整體流程不熟悉，缺少實(shí)操經(jīng)驗(yàn)，包括流程管控和遷移實(shí)施經(jīng)驗(yàn)，以及遷移工具使用出現(xiàn)問題，不知如何定位和排查，缺少技術(shù)指導(dǎo)和支持。
本服務(wù)包含四項(xiàng)子服務(wù)，客戶可以結(jié)合自身業(yè)務(wù)需求進(jìn)行購買：
大數(shù)據(jù)遷移方案設(shè)計(jì)服務(wù)（可選）
大數(shù)據(jù)遷移方案實(shí)施基礎(chǔ)服務(wù)（可選數(shù)據(jù)遷移、任務(wù)遷移兩種子服務(wù)其中之一）
大數(shù)據(jù)遷移方案實(shí)施增補(bǔ)服務(wù)（可選）
服務(wù)注意事項(xiàng)如下：
本SOW在一次售賣中僅包括遷移咨詢、數(shù)據(jù)遷移、業(yè)務(wù)遷移這三個(gè)服務(wù)其中之一
遷移實(shí)施（包括數(shù)據(jù)遷移、任務(wù)遷移）的工作量評(píng)估，都建立在遷移資源可以及時(shí)到位的前提下。
遷移的資源成本不包括本服務(wù)包成本內(nèi)，本服務(wù)包僅負(fù)責(zé)資源的使用。
如無特別要求，默認(rèn)遷移周期>=2個(gè)月。
本服務(wù)包所支持的遷移場景列表如下，一個(gè)服務(wù)包的一次售賣中，僅包括下列場景之一：
開源Hive/Hadoop -> 阿里云EMR-Hive
開源Spark -> 阿里云EMR-Spark
開源Hive/Hadoop -> 阿里云Maxcompute
開源Spark -> 阿里云Maxcompute（非pyodps）
開源Flink -> 阿里云 Flink
ClickHouse -> 阿里云ClickHouse
云上/下Maxcompute -> 云上/下Maxcompute
不在以上范圍內(nèi)的，具體項(xiàng)目分析
本文提到的『任務(wù)量』的計(jì)量與場景、任務(wù)類型、調(diào)度等諸多因子相關(guān)，請(qǐng)線下與服務(wù)包PD咨詢，要根據(jù)客戶情況來計(jì)算。
1.2. 大數(shù)據(jù)巡檢服務(wù)說明
基于阿里云大數(shù)據(jù)平臺(tái)運(yùn)維巡檢最佳實(shí)踐，為客戶提供云原生、EMR商業(yè)開源平臺(tái)監(jiān)控采集配置服務(wù)，根據(jù)運(yùn)維周期按次提供主動(dòng)運(yùn)維巡檢健康檢查，并結(jié)合數(shù)據(jù)業(yè)務(wù)現(xiàn)狀輸出健康分析報(bào)告。以解決客戶耍得的大數(shù)據(jù)產(chǎn)品配置不合理、資源利用率不高、架構(gòu)可用性隱患、生產(chǎn)任務(wù)頻繁故障，無法提前感知等痛點(diǎn)。
服務(wù)注意事項(xiàng)如下：
聲明本服務(wù)支持產(chǎn)品范圍為：
開源EMR
阿里云EMR
阿里云Maxcompute/Dataworks/Hologress
不在以上范圍內(nèi)的，基于項(xiàng)目具體分析
2.服務(wù)范圍
各項(xiàng)子服務(wù)服務(wù)范圍如下：
2.1.遷移方案設(shè)計(jì)服務(wù)范圍
針對(duì)客戶業(yè)務(wù)系統(tǒng)鏈路改造上阿里云計(jì)算平臺(tái)的整體遷移鏈路技術(shù)方案設(shè)計(jì)：通過調(diào)研客戶當(dāng)前的業(yè)務(wù)系統(tǒng)、鏈路架構(gòu)、上云要求，設(shè)計(jì)滿足客戶要求的包括數(shù)據(jù)及任務(wù)的增量遷移/存量遷移/增全量合并/一致性校驗(yàn)/sql改造一整套遷移鏈路設(shè)計(jì)，包括業(yè)務(wù)系統(tǒng)到云上產(chǎn)品鏈路、遷移所用工具以及關(guān)鍵步驟的實(shí)施說明，以及割接要點(diǎn)說明。
方案設(shè)計(jì)的技術(shù)參數(shù)有如下約束：
源端集群數(shù) | 調(diào)度組件數(shù) | 數(shù)據(jù)量 | 表數(shù)量 | 任務(wù)量 |
<=4 | <=2 | 10P | 1萬 | 3000 |
2.2.遷移實(shí)施基礎(chǔ)服務(wù)之?dāng)?shù)據(jù)遷移服務(wù)范圍
基于遷移規(guī)劃產(chǎn)出的方案，為客戶大基于遷移規(guī)劃產(chǎn)出的方案，為客戶大數(shù)據(jù)平臺(tái)數(shù)據(jù)遷移過程中提供工具部署使用培訓(xùn)以及技術(shù)支持，問題解決，保障實(shí)施過程順利進(jìn)行，并配合完成數(shù)據(jù)遷移的割接。
遷移規(guī)模有如下約束：
源端集群數(shù) | 調(diào)度組件數(shù) | 數(shù)據(jù)量 | 表數(shù)量 | 任務(wù)量 |
<=2 | 1P | 1000 |
2.3.遷移實(shí)施基礎(chǔ)服務(wù)之任務(wù)遷移技術(shù)支持服務(wù)范圍
基于遷移規(guī)劃產(chǎn)出的方案，為客戶大數(shù)據(jù)平臺(tái)任務(wù)遷移過程中提供工具部署使用培訓(xùn)以及技術(shù)支持，問題解決，保障實(shí)施過程順利進(jìn)行，并配合完成任務(wù)遷移的割接。
遷移規(guī)模有如下約束（其中任務(wù)量的計(jì)算受遷移的組件異構(gòu)性、任務(wù)是否改造等多種因子影響，具體要根據(jù)售前調(diào)研情況來確定）：
源端集群數(shù) | 調(diào)度組件數(shù) | 數(shù)據(jù)量 | 表數(shù)量 | 任務(wù)量（僅參考） |
<=2 | <=1 | 售前調(diào)研來定 |
2.4.遷移實(shí)施增補(bǔ)之服務(wù)范圍
作為大數(shù)據(jù)平臺(tái)遷移實(shí)施基礎(chǔ)服務(wù)的補(bǔ)充，除按工作量擴(kuò)充基礎(chǔ)服務(wù)之外，也可以為客戶大數(shù)據(jù)平臺(tái)遷移過程中提供基礎(chǔ)服務(wù)之外的升級(jí)服務(wù)，如駐場護(hù)航、技術(shù)答疑、技術(shù)培訓(xùn)等標(biāo)準(zhǔn)化的遷移升級(jí)服務(wù)。
升級(jí)服務(wù)有如下約束（其中任務(wù)量的計(jì)算受遷移的組件異構(gòu)性、任務(wù)是否改造等多種因子影響，具體要根據(jù)售前調(diào)研情況來確定）：
服務(wù)類型 | 服務(wù)內(nèi)容 | 服務(wù)范圍 |
數(shù)據(jù)遷移或者任務(wù)遷移技術(shù)支持的工作量擴(kuò)充 | 擴(kuò)充同一場景下基礎(chǔ)服務(wù)包未能覆蓋的遷移工作量 | 與方案設(shè)計(jì)、數(shù)據(jù)遷移、任務(wù)遷移等保持一致 |
技術(shù)答疑 | 僅對(duì)應(yīng)一種大數(shù)據(jù)產(chǎn)品的Landing使用，包括資源評(píng)估、用戶權(quán)限設(shè)計(jì)、網(wǎng)絡(luò)分配等 |
|
技術(shù)培訓(xùn) | 僅對(duì)應(yīng)一種大數(shù)據(jù)產(chǎn)品使用培訓(xùn)，不超過2人天課程，3人天課后答疑 |
|
駐場護(hù)航 | 客戶重大活動(dòng)或者重大項(xiàng)目（如平臺(tái)改造、平臺(tái)遷移、營銷大促等）運(yùn)行期間，提供駐場護(hù)航服務(wù)，不超過10人天駐場支持 |
|
2.5.大數(shù)據(jù)平臺(tái)巡檢服務(wù)范圍
序號(hào) | 主要工作內(nèi)容 | 詳細(xì)描述 |
需求階段 | 現(xiàn)狀調(diào)研 | 調(diào)研客戶當(dāng)前的大數(shù)據(jù)架構(gòu)數(shù)據(jù)鏈路等，調(diào)研客戶大數(shù)據(jù)平臺(tái)巡檢的需求范圍和日常痛點(diǎn) |
需求確認(rèn) | 理解客戶需求，梳理關(guān)鍵指標(biāo)清單和巡檢目標(biāo)，與客戶確認(rèn)需求 | |
系統(tǒng)巡檢 | 巡檢實(shí)施 | 通過Prometheus、或自研工具等方式為部署巡檢采集服務(wù)，獲取需求階段的指標(biāo)清單，如集群運(yùn)行環(huán)境（cpu、內(nèi)存、磁盤、網(wǎng)絡(luò)等），大數(shù)據(jù)服務(wù)運(yùn)行信息（服務(wù)占用cpu、內(nèi)存、中間目錄等） |
分析診斷 | 基于收集的指標(biāo)和配置信息，輸出集群運(yùn)行狀態(tài)巡檢報(bào)告，對(duì)集群資源使用異常、服務(wù)異常等情況進(jìn)行診斷 | |
產(chǎn)出報(bào)告 | 產(chǎn)出報(bào)告 | 1）從環(huán)境配置、運(yùn)行性能、存儲(chǔ)合理、安全等多維度評(píng)估巡檢產(chǎn)出，形成報(bào)告文檔 2）針對(duì)高頻可優(yōu)先、或使用風(fēng)險(xiǎn)場景給出問題診斷和優(yōu)化建議，如大數(shù)據(jù)集群配置任務(wù)消耗資源度、高頻低效運(yùn)算、小文件堆積、分區(qū)異常等情況 |
2.6.本服務(wù)不包括以下內(nèi)容
本服務(wù)不包括應(yīng)用遷移/數(shù)據(jù)庫平遷/應(yīng)用程序改造/應(yīng)用程序設(shè)計(jì)/數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計(jì)。
遷移未明確認(rèn)定為“范圍內(nèi)”的應(yīng)用系統(tǒng)。
遷移未明確認(rèn)定為“范圍內(nèi)”的數(shù)據(jù)。
云平臺(tái)基礎(chǔ)架構(gòu)設(shè)施及環(huán)境的設(shè)計(jì)與搭建。
實(shí)施所需的通信基礎(chǔ)架構(gòu)和組件。
安裝或配置電氣、電子通信、布線基礎(chǔ)架構(gòu)和組件，以及為其提供支持。
非IT設(shè)備以及桌面設(shè)備（如辦公桌椅、打印設(shè)備、空調(diào)、UPS、磁帶等）等的安裝配置。
本服務(wù)不承諾提供任何應(yīng)用改造，僅負(fù)責(zé)限定范圍內(nèi)的數(shù)據(jù)及任務(wù)遷移，因平臺(tái)替換導(dǎo)致的兼容性問題由客戶負(fù)責(zé)改造。
乙方不為具體進(jìn)度負(fù)責(zé)，由甲方原因?qū)е碌倪M(jìn)度不符合預(yù)期，乙方不承擔(dān)延期責(zé)任。
3.前提條件
客戶應(yīng)提前至少15個(gè)自然日申請(qǐng)?jiān)摲?wù)，以便于阿里云評(píng)估客戶業(yè)務(wù)目標(biāo)及時(shí)間計(jì)劃可行，確認(rèn)是否承接該服務(wù)申請(qǐng)。
如客戶的申請(qǐng)涉及大批量資源需求，建議客戶提前一個(gè)月申請(qǐng)，具體視供應(yīng)鏈評(píng)估情況協(xié)商。
客戶應(yīng)在阿里云承接服務(wù)后，提供場地、設(shè)備、必要的非生產(chǎn)環(huán)境及遠(yuǎn)程訪問通道、權(quán)限、明確的業(yè)務(wù)目標(biāo)（如遷移范圍、遷移產(chǎn)品方案等）等，協(xié)助阿里云開展服務(wù)。
客戶應(yīng)審核阿里云制定的項(xiàng)目實(shí)施計(jì)劃，以書面形式（包括但不限于電子郵件）確認(rèn)阿里云提供的具體實(shí)施計(jì)劃。客戶如無正當(dāng)技術(shù)理由，不得否定雙方已確認(rèn)的技術(shù)建議或方案，以確保及時(shí)實(shí)現(xiàn)本服務(wù)目的。
按雙方協(xié)商約定時(shí)間實(shí)施具體的遷移服務(wù)。
4.分工邊界
4.1.客戶與阿里云
項(xiàng)目階段 | 甲方 | 乙方 |
項(xiàng)目準(zhǔn)備 | 1. 指定一名具備合適技能和經(jīng)驗(yàn)的項(xiàng)目經(jīng)理作為與乙方溝通的主要聯(lián)系人，代表甲方直接負(fù)責(zé)項(xiàng)目實(shí)施的計(jì)劃、協(xié)調(diào)、監(jiān)督與控制以及升級(jí)問題與風(fēng)險(xiǎn)，同時(shí)全權(quán)代表甲方在本項(xiàng)目的各個(gè)方面做出決策。 2. 項(xiàng)目經(jīng)理應(yīng)協(xié)同乙方人員針對(duì)項(xiàng)目準(zhǔn)備階段的所有事項(xiàng)（見本工作說明書《2.1 項(xiàng)目準(zhǔn)備》）進(jìn)行確認(rèn)。 3. 辦公環(huán)境準(zhǔn)備與人員出入許可權(quán)限批準(zhǔn)。 4. 管理甲方項(xiàng)目組相關(guān)人員且和各階段需投入人員進(jìn)行溝通交流并取得投入項(xiàng)目的承諾與時(shí)間。 5. 管理甲方項(xiàng)目組相關(guān)人員。 | 1. 指派一名有經(jīng)驗(yàn)的項(xiàng)目經(jīng)理執(zhí)行項(xiàng)目管理，并引入、管理乙方項(xiàng)目組人員，與甲方項(xiàng)目經(jīng)理溝通 2. 針對(duì)項(xiàng)目準(zhǔn)備階段的所有事項(xiàng)（見本工作說明書《2.1 項(xiàng)目準(zhǔn)備》）提出方案與計(jì)劃與甲方項(xiàng)目經(jīng)理進(jìn)行確認(rèn)并書面記錄在案 |
現(xiàn)狀調(diào)研階段 | 1.根據(jù)項(xiàng)目計(jì)劃與訪談?dòng)?jì)劃，組織關(guān)鍵用戶參與調(diào)研訪談 2.根據(jù)乙方提供的需求調(diào)研表格，提供現(xiàn)有業(yè)務(wù)概況，如所用組件，數(shù)據(jù)源類型，數(shù)據(jù)源數(shù)量，遷移作業(yè)數(shù)，作業(yè)類型, 作業(yè)運(yùn)行方式，了解用戶遷移所用阿里云組件，數(shù)據(jù)遷移方式（存量遷移方式/增量遷移方式），作業(yè)遷移方式，一致性校驗(yàn)標(biāo)準(zhǔn)等作為乙方評(píng)估調(diào)研評(píng)估輸入 3.確認(rèn)乙方的數(shù)據(jù)上云策略與風(fēng)險(xiǎn)控制策略 4.部署乙方提供的數(shù)據(jù)探查采集工具，并上傳采集結(jié)果完成評(píng)估分析 5.指定驗(yàn)收人負(fù)責(zé)審核乙方交付物并提供反饋與確認(rèn) | 1. 提供訪談?dòng)?jì)劃并根據(jù)訪談結(jié)果評(píng)估現(xiàn)有系統(tǒng)架構(gòu)/部署架構(gòu)。 2.根據(jù)調(diào)研評(píng)估結(jié)果提出數(shù)據(jù)上云策略與風(fēng)險(xiǎn)控制策略，并與甲方達(dá)成一致 3.協(xié)助甲方分析數(shù)據(jù)遷移評(píng)估結(jié)果 4.根據(jù)甲方驗(yàn)收反饋確保最終交付物符合驗(yàn)收標(biāo)準(zhǔn) |
方案設(shè)計(jì)階段 | 1.配合乙方進(jìn)行數(shù)據(jù)架構(gòu)選型和設(shè)計(jì)。 2.配合乙方進(jìn)行數(shù)據(jù)遷移方案的設(shè)計(jì)。 3.根據(jù)乙方的作業(yè)改造建議，進(jìn)行sql代碼檢查，確認(rèn)具體改造的范圍和改造方案 4.指定驗(yàn)收人負(fù)責(zé)審核乙方交付物并提供反饋與確認(rèn)驗(yàn)收 | 1.根據(jù)服務(wù)范圍，結(jié)合客戶具體場景進(jìn)行組件選型和架構(gòu)設(shè)計(jì)。 2.根據(jù)客戶當(dāng)前系統(tǒng)、云上產(chǎn)品、數(shù)據(jù)規(guī)模和大小，業(yè)務(wù)特點(diǎn)，設(shè)計(jì)數(shù)據(jù)遷移方案，推薦合適的遷移工具。 3.分析目標(biāo)作業(yè)與源作業(yè)的兼容性，提供作業(yè)改造建議以及sql代碼檢查建議。 4. 根據(jù)甲方驗(yàn)收反饋確保最終交付物符合驗(yàn)收標(biāo)準(zhǔn) |
方案驗(yàn)證階段 | 1.根據(jù)作業(yè)兼容性分析、sql改造建議，進(jìn)行1個(gè)示例作業(yè)改造，并進(jìn)行業(yè)務(wù)驗(yàn)證 2.驗(yàn)證數(shù)據(jù)遷移方案 | 1.協(xié)助并指導(dǎo)甲方開通或購買云資源以及基礎(chǔ)架構(gòu)搭建與配置 2.提供作業(yè)改造過程的相關(guān)技術(shù)支持 3.協(xié)助甲方驗(yàn)證數(shù)據(jù)遷移方案，提供遷移過程中的答疑、工具培訓(xùn)、技術(shù)支持 4.在該階段只選擇1個(gè)示例進(jìn)行咨詢方案的驗(yàn)證。 |
遷移實(shí)施階段 | 1.根據(jù)作業(yè)兼容性分析以及改造建議，執(zhí)行作業(yè)代碼改造等實(shí)施工作 2.執(zhí)行數(shù)據(jù)遷移、割接演練 3.根據(jù)應(yīng)用測試、割接演練結(jié)果準(zhǔn)備業(yè)務(wù)割接 | 1.協(xié)助并指導(dǎo)甲方開通或購買云資源以及基礎(chǔ)架構(gòu)搭建與配置 2.提供作業(yè)改造的相關(guān)技術(shù)支持 3.協(xié)助甲方數(shù)據(jù)遷移，提供遷移過程中的答疑、工具培訓(xùn)、技術(shù)支持 |
割接與護(hù)航 | 1.確認(rèn)業(yè)務(wù)割接到阿里數(shù)據(jù)平臺(tái)的計(jì)劃并指定相應(yīng)的協(xié)同割接人員 2.清理測試數(shù)據(jù)并確認(rèn)生產(chǎn)資源準(zhǔn)備就緒 3.在計(jì)劃時(shí)間窗口內(nèi)完成系統(tǒng)割接工作，并驗(yàn)證切換后的業(yè)務(wù)測試 4.若遇非乙方系統(tǒng)或服務(wù)問題，協(xié)助乙方協(xié)調(diào)第三方系統(tǒng)相關(guān)人員進(jìn)行問題修復(fù) 5.指定運(yùn)維接口人與乙方交接業(yè)務(wù)上線后的注意事項(xiàng) 6.指定驗(yàn)收人負(fù)責(zé)審核乙方交付物并提供反饋與確認(rèn)驗(yàn)收 | 1.協(xié)助甲方進(jìn)行系統(tǒng)割接準(zhǔn)備并對(duì)系統(tǒng)割接計(jì)劃與甲方達(dá)成共識(shí) 2.根據(jù)甲方指定的具體業(yè)務(wù)系統(tǒng)，在割接演練期間提供計(jì)算平臺(tái)相關(guān)技術(shù)支持和問題解決。 3.協(xié)助甲方進(jìn)行系統(tǒng)割接并在系統(tǒng)割接過程中提供阿里云計(jì)算平臺(tái)相關(guān)的技術(shù)支持、問題排查與解決方案 4.在系統(tǒng)切換完成后，提供運(yùn)維問題排查，針對(duì)在項(xiàng)目范圍內(nèi)的問題提供修復(fù)或臨時(shí)解決方案 5.與甲方運(yùn)維接口人進(jìn)行運(yùn)維交接 |
巡檢實(shí)施 | 1.配合乙方進(jìn)行實(shí)施巡檢配置，包括產(chǎn)品開通、部署、必要的配置工作協(xié)作等。 | 1.根據(jù)服務(wù)范圍，實(shí)施巡檢配置，覆蓋調(diào)研階段所提出的指標(biāo)需求。 2.收集巡檢指標(biāo)結(jié)果，建立數(shù)據(jù)分析模型，形成巡檢決策結(jié)果 |
巡檢報(bào)告 | 1.確認(rèn)驗(yàn)收 | 1.負(fù)責(zé)產(chǎn)出結(jié)果報(bào)告，并給出必要的建議 |
4.2.完工標(biāo)準(zhǔn)
滿足下列條件之一，則視為完工：
完成2.服務(wù)范圍內(nèi)的工作量，并由客戶驗(yàn)收后，即可視為完工。
如果因客戶側(cè)原因?qū)е马?xiàng)目暫停或終止，但阿里云已按時(shí)間期限提供了20人天服務(wù)，則也算完工。
5.服務(wù)項(xiàng)
阿里云針對(duì)客戶的業(yè)務(wù)目標(biāo)，包含以下服務(wù)：
5.1.方案設(shè)計(jì)
主要工作內(nèi)容 | 詳細(xì)描述 |
現(xiàn)狀調(diào)研 | 1、調(diào)研客戶所指定遷移范圍內(nèi)的端大數(shù)據(jù)系統(tǒng)的相關(guān)信息，包括當(dāng)前所用組件，數(shù)據(jù)源類型，數(shù)據(jù)源數(shù)量，遷移作業(yè)數(shù)，作業(yè)類型, 作業(yè)運(yùn)行方式。 2、對(duì)應(yīng)售前方案，確定遷移目標(biāo)端所使用的阿里云大數(shù)據(jù)組件信息（規(guī)格、版本、網(wǎng)絡(luò)連通性等），數(shù)據(jù)遷移方式（存量遷移方式/增量遷移方式），作業(yè)遷移方式，遷移工具，一致性校驗(yàn)標(biāo)準(zhǔn)。 |
數(shù)據(jù)遷移設(shè)計(jì) | 基于需求詳細(xì)調(diào)研的結(jié)果，設(shè)計(jì)【XXX】項(xiàng)目的數(shù)據(jù)遷移方案
|
任務(wù)遷移設(shè)計(jì) | 基于需求詳細(xì)調(diào)研的結(jié)果，設(shè)計(jì)【XXX】項(xiàng)目的任務(wù)遷移方案
|
關(guān)鍵點(diǎn)驗(yàn)證及割接方案設(shè)計(jì) | 1、根據(jù)項(xiàng)目需求，對(duì)方案中的關(guān)鍵點(diǎn)進(jìn)行驗(yàn)證，如新遷移工具的引入、數(shù)據(jù)規(guī)模超過常規(guī)等 2、設(shè)計(jì)割接方案，如集群雙跑涉及的工作步驟說明和風(fēng)險(xiǎn)點(diǎn)說明等 |
5.2.數(shù)據(jù)遷移
主要工作內(nèi)容 | 內(nèi)容描述 |
存量數(shù)據(jù)遷移 | 提供存量數(shù)據(jù)遷移、校驗(yàn)支持 |
增量數(shù)據(jù)遷移 | 提供增量數(shù)據(jù)遷移、校驗(yàn)支持 |
割接演練 | 協(xié)助進(jìn)行割接方案設(shè)計(jì)，并進(jìn)行割接演練確保割接方案可行 |
割接實(shí)話 | 協(xié)助進(jìn)行最終割接實(shí)施上云 |
5.3.任務(wù)遷移
主要工作內(nèi)容 | 內(nèi)容描述 |
作業(yè)任務(wù)遷移支持 | 提供作業(yè)任務(wù)遷移、sql任務(wù)兼容性改造支持 |
數(shù)據(jù)一致性校驗(yàn)支持 | 提供遷移過程中的數(shù)據(jù)一致性校驗(yàn)技術(shù)支持 |
割接演練支持 | 協(xié)助進(jìn)行割接方案設(shè)計(jì)，并進(jìn)行割接演練確保割接方案可行 |
割接實(shí)施支持 | 協(xié)助進(jìn)行最終割接實(shí)施上云 |
5.4.平臺(tái)巡檢
主要工作內(nèi)容 | 詳細(xì)描述 |
現(xiàn)狀調(diào)研 | 調(diào)研客戶當(dāng)前的大數(shù)據(jù)架構(gòu)數(shù)據(jù)鏈路等，調(diào)研客戶大數(shù)據(jù)平臺(tái)巡檢的需求范圍和日常痛點(diǎn) |
需求確認(rèn) | 理解客戶需求，梳理關(guān)鍵指標(biāo)清單和巡檢目標(biāo)，與客戶確認(rèn)需求 |
巡檢實(shí)施 | 通過Prometheus、或自研工具等方式為部署巡檢采集服務(wù)，獲取需求階段的指標(biāo)清單，如集群運(yùn)行環(huán)境（cpu、內(nèi)存、磁盤、網(wǎng)絡(luò)等），大數(shù)據(jù)服務(wù)運(yùn)行信息（服務(wù)占用cpu、內(nèi)存、中間目錄等） |
分析診斷 | 基于收集的指標(biāo)和配置信息，輸出集群運(yùn)行狀態(tài)巡檢報(bào)告，對(duì)集群資源使用異常、服務(wù)異常等情況進(jìn)行診斷 |
產(chǎn)出報(bào)告 | 1、從環(huán)境配置、運(yùn)行性能、存儲(chǔ)合理、安全等多維度評(píng)估巡檢產(chǎn)出，形成報(bào)告文檔 2、針對(duì)高頻可優(yōu)先、或使用風(fēng)險(xiǎn)場景給出問題診斷和優(yōu)化建議，如大數(shù)據(jù)集群配置任務(wù)消耗資源度、高頻低效運(yùn)算、小文件堆積、分區(qū)異常等情 |
6.服務(wù)流程
6.1.大數(shù)據(jù)遷移服務(wù)流程
申請(qǐng)時(shí)間限制：客戶須至少應(yīng)于本服務(wù)開始日之前提前15個(gè)自然日提出申請(qǐng)。
需求調(diào)研（鏈路、平臺(tái)架構(gòu)、范圍梳理、計(jì)劃制定） -> 方案設(shè)計(jì)（數(shù)據(jù)遷移方案設(shè)計(jì)、任務(wù)遷移方案設(shè)計(jì)、數(shù)據(jù)校驗(yàn)方案、割接方案設(shè)計(jì)等） -> 開發(fā)實(shí)施（環(huán)境搭建、方案驗(yàn)證、數(shù)據(jù)遷移、任務(wù)遷移、雙跑驗(yàn)證） -> 系統(tǒng)割接（監(jiān)控告警、割接準(zhǔn)備）-> 上線維保（正式上線、知識(shí)轉(zhuǎn)移、項(xiàng)目驗(yàn)收）
請(qǐng)注意，以上為購買完整大數(shù)據(jù)遷移全套服務(wù)的服務(wù)流程，包括了方案設(shè)計(jì)、數(shù)據(jù)遷移、任務(wù)遷移支持等，而現(xiàn)實(shí)中的服務(wù)流程取決于客戶實(shí)際購買的服務(wù)內(nèi)容項(xiàng)。
6.2.大數(shù)據(jù)平臺(tái)巡檢服務(wù)流程
申請(qǐng)時(shí)間限制：客戶須至少應(yīng)于本服務(wù)開始日之前提前15個(gè)自然日提出申請(qǐng)。
項(xiàng)目準(zhǔn)備 -> 需求調(diào)研 -> 系統(tǒng)巡檢 -> 產(chǎn)出報(bào)告
7.驗(yàn)收標(biāo)準(zhǔn)
大數(shù)據(jù)遷移服務(wù)驗(yàn)收時(shí)，乙方須根據(jù)客戶購買的具體服務(wù)子項(xiàng)（方案設(shè)計(jì)、數(shù)據(jù)遷移、任務(wù)遷移這三者其中之一），交付2.服務(wù)范圍和3.2服務(wù)項(xiàng)中約定的服務(wù)內(nèi)容（主要是工作量，如約定的數(shù)據(jù)量、任務(wù)量的遷移，含增補(bǔ)服務(wù)量），或者約定規(guī)模下的遷移方案設(shè)計(jì)，并提交以下驗(yàn)收交付物，由客戶確認(rèn)。
交付內(nèi)容 | 交付物 | 交付物類型 |
遷移方案設(shè)計(jì)服務(wù) | 《大數(shù)據(jù)平臺(tái)遷移方案設(shè)計(jì)》，《大數(shù)據(jù)平臺(tái)數(shù)據(jù)遷移方案驗(yàn)證問題清單》 | 文檔 |
數(shù)據(jù)遷移服務(wù) | 《大數(shù)據(jù)平臺(tái)數(shù)據(jù)遷移實(shí)施報(bào)告》 | 文檔 |
任務(wù)遷移服務(wù) | 《大數(shù)據(jù)平臺(tái)任務(wù)遷移實(shí)施支持報(bào)告》 | 文檔 |
大數(shù)據(jù)平臺(tái)巡檢服務(wù)時(shí)，乙方須按照服務(wù)范圍內(nèi)約定，交付3.2中的服務(wù)項(xiàng)，并提交以下驗(yàn)收交付物，由客戶確認(rèn)。
交付內(nèi)容 | 交付物 | 交付物類型 |
遷移方案設(shè)計(jì) | 《大數(shù)據(jù)集群情況匯總表》、 《客戶需求清單》，《大數(shù)據(jù)指標(biāo)清單及巡檢目標(biāo)》 | 文檔 |
巡檢實(shí)施 | 《大數(shù)據(jù)集群指標(biāo)巡檢大盤》 | 報(bào)表 |
產(chǎn)出報(bào)告 | 《大數(shù)據(jù)集群巡檢報(bào)告》 | 文檔 |
8.完成標(biāo)志
實(shí)施結(jié)束并完成客戶驗(yàn)收工作。