本文簡介

本章卓越架構(gòu)設(shè)計(jì)重點(diǎn)介紹當(dāng)云上不同地域間的VPC、VBR、云服務(wù)等要互通訪問時(shí)（云上多地域業(yè)務(wù)數(shù)據(jù)同步/協(xié)同互通、異地多活、異地容災(zāi)），使用轉(zhuǎn)發(fā)路由器TR進(jìn)行互聯(lián)并配置跨地域互通帶寬，構(gòu)建企業(yè)云上多個(gè)地域間的互聯(lián)互通。

本文面向技術(shù)人員，例如CTO、架構(gòu)師、開發(fā)人員和運(yùn)營團(tuán)隊(duì)成員等，介紹基于TR構(gòu)建云上跨地域網(wǎng)絡(luò)的方案和方法，參考本文結(jié)合客戶現(xiàn)有業(yè)務(wù)進(jìn)行云上跨地域網(wǎng)絡(luò)的規(guī)劃設(shè)計(jì)。

基本概念

VPC：專有網(wǎng)絡(luò)VPC（Virtual Private Cloud）是用戶基于阿里云創(chuàng)建的自定義私有網(wǎng)絡(luò), 不同的專有網(wǎng)絡(luò)之間二層邏輯隔離，用戶可以在自己創(chuàng)建的專有網(wǎng)絡(luò)內(nèi)創(chuàng)建和管理云產(chǎn)品實(shí)例，比如ECS、SLB、RDS等。

高速通道：高速通道（Express Connect）是一款連接企業(yè)數(shù)據(jù)中心與阿里云的網(wǎng)絡(luò)服務(wù)，可在企業(yè)數(shù)據(jù)中心與云上網(wǎng)絡(luò)之間建立高速、穩(wěn)定、安全的私網(wǎng)通信通道。高速通道的數(shù)據(jù)傳輸過程可信可控，能有效提高網(wǎng)絡(luò)通信的質(zhì)量及安全性。

VBR：阿里云基于軟件自定義網(wǎng)絡(luò)SDN架構(gòu)下的三層Overlay技術(shù)和交換機(jī)虛擬化技術(shù)，將物理專線的接入端口隔離起來，并抽象成邊界路由器VBR（Virtual border router）。VBR是CPE設(shè)備和專有網(wǎng)絡(luò)VPC之間的一個(gè)路由器，作為數(shù)據(jù)從VPC到本地?cái)?shù)據(jù)中心IDC的轉(zhuǎn)發(fā)橋梁。

云企業(yè)網(wǎng)：云企業(yè)網(wǎng)CEN（Cloud Enterprise Network）是運(yùn)行在阿里云私有全球網(wǎng)絡(luò)上的一張高可用網(wǎng)絡(luò)。云企業(yè)網(wǎng)通過轉(zhuǎn)發(fā)路由器TR（Transit Router）幫助企業(yè)在跨地域?qū)Ｓ芯W(wǎng)絡(luò)之間，專有網(wǎng)絡(luò)與本地?cái)?shù)據(jù)中心間搭建私網(wǎng)通信通道，打造一張靈活、可靠、大規(guī)模的企業(yè)級云上網(wǎng)絡(luò)。

云數(shù)據(jù)傳輸：云數(shù)據(jù)傳輸（Cloud DataTransfer，簡稱CDT）是一種為云上流量提供統(tǒng)一計(jì)費(fèi)和出賬服務(wù)的開通型產(chǎn)品。通過CDT，可以實(shí)現(xiàn)流量資源的彈性使用和便捷管理，從而有效降低IT成本。

• 支持對公網(wǎng)類產(chǎn)品的公網(wǎng)流量累計(jì)階梯計(jì)費(fèi)，每月按地域匯總累計(jì)階梯，用量越大單價(jià)越低。

• 支持對跨地域類產(chǎn)品的跨地域流量按流量計(jì)費(fèi)，這種計(jì)費(fèi)方式更加靈活，方便按需使用。

TR間連接關(guān)系設(shè)計(jì)

• 直連的2個(gè)TR可以自動(dòng)學(xué)習(xí)路由，也可以手動(dòng)配置路由實(shí)現(xiàn)互通。

• 通過中間TR連接2個(gè)TR，并手動(dòng)配置路由實(shí)現(xiàn)互通。

優(yōu)先推薦直連互通。如果有通過中間TR做訪問控制或者可能復(fù)用節(jié)省帶寬考慮時(shí)，也可以考慮使用中間TR中轉(zhuǎn)互通設(shè)計(jì)。

跨地域帶寬設(shè)計(jì)

直連的兩個(gè)TR除了配置互通連接關(guān)系外，還需要配置互通帶寬，有2種方式：

• 按帶寬計(jì)費(fèi)：購買云企業(yè)網(wǎng)CEN大區(qū)間帶寬包（按帶寬計(jì)費(fèi)），并將帶寬分配到要互通的地域間，分配的帶寬即為互通的限速帶寬。

• 按流量計(jì)費(fèi)：不需要購買CEN帶寬包，在配置TR間互通時(shí)勾選按流量計(jì)費(fèi)，并且配置互通的帶寬峰值，注意該帶寬為限速帶寬。

推薦原則：業(yè)務(wù)峰谷明顯時(shí)推薦按流量計(jì)費(fèi)、業(yè)務(wù)平穩(wěn)時(shí)推薦按帶寬計(jì)費(fèi)。

• 如果互通地域間跑多個(gè)業(yè)務(wù)（比如在線業(yè)務(wù)和離線業(yè)務(wù)），為了防止業(yè)務(wù)間相互擠占帶寬，可以配置跨地域Qos。

安全設(shè)計(jì)【可選】

• TR路由策略、VPC的NACL、安全組、防火墻等防護(hù)策略對跨地域互通都有效，按需設(shè)計(jì)即可。

穩(wěn)定性設(shè)計(jì)

TR間跨地域互通的底層網(wǎng)絡(luò)是阿里云全球傳輸網(wǎng)絡(luò)，其中Underlay層多路徑專線+智能調(diào)度容災(zāi)設(shè)計(jì)，Overlay層通過ZooRoute自動(dòng)探活底層可用路徑、業(yè)務(wù)收發(fā)包自動(dòng)剔除故障路徑、秒級容災(zāi)能力保證鏈路高可用。同時(shí)，建議優(yōu)先使用TR直連互通并開啟自動(dòng)路由學(xué)習(xí)方式，以便于網(wǎng)絡(luò)拓?fù)渥兓舐酚呻S動(dòng)刷新。

• TR集群雙AZ高可靠：轉(zhuǎn)發(fā)路由器TR默認(rèn)提供主備兩個(gè)節(jié)點(diǎn)，主備節(jié)點(diǎn)自動(dòng)切換，保障業(yè)務(wù)不中斷。全網(wǎng)任意兩個(gè)節(jié)點(diǎn)之間存在多組高質(zhì)量傳輸鏈路，底層鏈路中斷網(wǎng)絡(luò)自動(dòng)收斂，業(yè)務(wù)無感知。

• 同城VPC接入雙AZ高可靠：VPC實(shí)例關(guān)聯(lián)至TR時(shí)，請務(wù)必確保至少2個(gè)及以上可用區(qū)VSW ENI連接，保障同城VPC多可用區(qū)高可靠。由于與TR互聯(lián)的VPC ENI主要用于VPC進(jìn)出流量的轉(zhuǎn)發(fā)，故為了和其他業(yè)務(wù)資源所需VSW的隔離以及不浪費(fèi)企業(yè)的私網(wǎng)地址，我們一般建議在VPC下對應(yīng)AZ創(chuàng)建兩個(gè)/29的子網(wǎng)地址。

• 跨域連接多線路冗余高可靠：圍繞TR跨地域連接，依托于底層阿里云傳輸網(wǎng)絡(luò)基礎(chǔ)設(shè)施，確保每個(gè)跨連接底層都是多對物理線路HA保障業(yè)務(wù)的連續(xù)性，SLA可達(dá)99.95%。近期我們?nèi)峦瞥龈哔|(zhì)量的鉑金線路，SLA可高達(dá)99.995%。

• 混合云專線/VPN接入的高可靠：請參考專線鏈路的可靠性設(shè)計(jì)中“專線鏈路的可靠性設(shè)計(jì)”章節(jié)內(nèi)容。

高性能&大彈性設(shè)計(jì)

• TR集群的高性能和彈性：單個(gè)TR集群最大支持400Gbps轉(zhuǎn)發(fā)性能，且單個(gè)VPC連接最大支持50Gbps（華東1（杭州）、華東2（上海）、華北2（北京）、華南1（深圳）、中國香港、新加坡地域?yàn)?0 Gbps，其余地域?yàn)?0 Gbps），無需用戶配置規(guī)格按需彈性。若有更高的性能要求，建議聯(lián)系您的阿里云商務(wù)經(jīng)理。

• 跨地域流量的流量調(diào)度功能：用戶能夠依據(jù)標(biāo)記值對不同類型的跨地域流量分別進(jìn)行帶寬限制，有效保證各類業(yè)務(wù)的跨地域帶寬，提高網(wǎng)絡(luò)整體的運(yùn)行效率。

• 跨域帶寬支持彈性付費(fèi)：跨地域按帶寬計(jì)費(fèi)模式可以按月或按天靈活升配帶寬。若已提前開通云數(shù)據(jù)傳輸服務(wù)CDT，TR跨地域帶寬支持按流量計(jì)費(fèi)。地域間限速帶寬默認(rèn)為1Gbps，用戶可以在產(chǎn)品配額中心自助擴(kuò)容。通過對跨域帶寬峰值的調(diào)整，實(shí)現(xiàn)跨域互聯(lián)帶寬資源彈性擴(kuò)容/縮容，來降低企業(yè)的單位成本。

• 跨域時(shí)延：用戶能夠基于網(wǎng)絡(luò)智能服務(wù)NIS-性能觀測模塊的云網(wǎng)絡(luò)互訪性能，自助查詢跨地域時(shí)延，來提前規(guī)劃最優(yōu)的多地域部署。

安全設(shè)計(jì)

• 若用戶在網(wǎng)絡(luò)互聯(lián)的基礎(chǔ)上，存在一些訪問控制的網(wǎng)絡(luò)安全需求。用戶可通過TR路由策略、VPC的NACL、安全組、云防火墻等網(wǎng)絡(luò)方案服務(wù)來按需設(shè)計(jì)訪問控制策略，對同地域及跨地域互通都有效。

可觀測設(shè)計(jì)

• 跨域網(wǎng)絡(luò)流量觀測分析：通過NIS-跨域流量分析模塊觀測跨域流量大小，判斷總體業(yè)務(wù)是否異常，是否有異常流量。通過觀測IP粒度的流量信息，判斷個(gè)體業(yè)務(wù)是否異常，以及異常流量主要消耗在哪里。NIS流量分析能夠以IP、端口、協(xié)議多維度展示通過轉(zhuǎn)發(fā)路由器TR的云上跨域VPC，云上云下IDC間出入方向的流量，實(shí)現(xiàn)Top流量分析。

• 跨域網(wǎng)絡(luò)流量監(jiān)控分析：通過阿里云云監(jiān)控Dashboard服務(wù)結(jié)合云企業(yè)網(wǎng)健康檢查、基礎(chǔ)監(jiān)控模塊等功能，可以查看CEN跨域帶寬及物理專線的監(jiān)控信息，包括流出帶寬、流入帶寬、延時(shí)和丟包率。

自服務(wù)設(shè)計(jì)

• 建議開啟云網(wǎng)絡(luò)智能服務(wù)NIS及云監(jiān)控監(jiān)控項(xiàng)的告警，及時(shí)感知風(fēng)險(xiǎn)。

• 企業(yè)運(yùn)維人員可按需通過IaC自服務(wù)開通/部署/配置，無需阿里云后臺接入，以便于更高效地支撐業(yè)務(wù)發(fā)展、降低業(yè)務(wù)受損影響。

附：網(wǎng)絡(luò)智能服務(wù)NIS-流量分析

場景一、通過TR構(gòu)建云上/云下多個(gè)地域VPC的跨地域互聯(lián)網(wǎng)絡(luò)

場景概述：專有網(wǎng)絡(luò)VPC實(shí)例、專線VBR實(shí)例、VPN實(shí)例被連接至轉(zhuǎn)發(fā)路由器后，需要在轉(zhuǎn)發(fā)路由器下創(chuàng)建跨地域連接，并為跨地域連接分配帶寬，從而實(shí)現(xiàn)云上云下不同地域間的跨地域互通網(wǎng)絡(luò)。

IDC上云接入：企業(yè)通過上云專線和IPsec-VPN打通IDC與阿里云杭州。企業(yè)IDC與阿里云專線接入點(diǎn)考慮到冗余性，建議優(yōu)先考慮雙物理專線或物理專線+VPN雙線接入，并可以按需配置為雙鏈路主備或負(fù)載冗余的方式，提升混合云互通時(shí)的整體可靠性。

云上跨地域：通過TR構(gòu)建阿里云上海-杭州跨地域連接，同時(shí)開通CDT跨域帶寬按流量計(jì)費(fèi)，打通上海VPC、杭州VPC、杭州IDC。

若企業(yè)有三個(gè)及以上地域互聯(lián)互通的需求，也可以在此架構(gòu)基礎(chǔ)之上，擴(kuò)展多個(gè)地域TR的跨地域連接。

場景二、通過TR構(gòu)建多地域fullmesh互聯(lián)的組網(wǎng)模式

場景概述：客戶在阿里云上海、深圳、杭州、北京VPC分別部署了服務(wù)，且多個(gè)地域間因業(yè)務(wù)需要，要求全地域打通，形成fullmesh組網(wǎng)。

云上多地域互聯(lián)：通過四個(gè)地域下的TR構(gòu)建多條跨地域連接，同時(shí)建議優(yōu)先考慮開通CDT跨地域帶寬按流量計(jì)費(fèi)來降低跨地域的帶寬成本，打通上海、深圳、杭州、北京VPC。

場景三、通過TR構(gòu)建多地域hub-spoke互聯(lián)的組網(wǎng)模式

場景概述：客戶在阿里云上海、深圳、杭州、北京VPC分別部署了服務(wù)，上海為客戶業(yè)務(wù)主中心，深圳、北京、杭州VPC均部署了前端服務(wù)需要與上海主中心做實(shí)時(shí)交互。但其他三個(gè)地域暫不存在互聯(lián)的需求

云上多地域互聯(lián)：通過上海地域TR分別與深圳、北京、杭州構(gòu)建跨地域連接，同時(shí)建議優(yōu)先考慮開通CDT跨域帶寬按流量計(jì)費(fèi)來降低跨域的帶寬成本，打通上海與深圳、北京、杭州的鏈路。

場景四、使用流量調(diào)度功能控制各類流量的跨地域帶寬

場景概述：跨地域連接的總帶寬是固定的，在跨地域連接傳輸流量的過程中，各種業(yè)務(wù)流量通常會(huì)相互擠占帶寬，造成網(wǎng)絡(luò)利用率不高、業(yè)務(wù)通信質(zhì)量下降等問題。不同業(yè)務(wù)的流量對網(wǎng)絡(luò)的要求不同，例如：

• 視頻會(huì)議和語音通話類流量注重網(wǎng)絡(luò)傳輸?shù)膶?shí)時(shí)性，高丟包率和頻繁抖動(dòng)會(huì)降低通信質(zhì)量。

• 辦公SaaS類流量注重響應(yīng)的及時(shí)性，網(wǎng)絡(luò)堵塞會(huì)降低用戶的使用體驗(yàn)。

• 辦公文件傳輸類流量注重網(wǎng)絡(luò)吞吐量，需要網(wǎng)絡(luò)提供足夠的帶寬，對網(wǎng)絡(luò)時(shí)延、網(wǎng)絡(luò)抖動(dòng)等網(wǎng)絡(luò)性能指標(biāo)要求不高。

流量調(diào)度功能支持為不同類型的跨地域流量添加標(biāo)記，并且能夠依據(jù)標(biāo)記值對不同類型的跨地域流量分別進(jìn)行帶寬限制，有效保證各類業(yè)務(wù)的跨地域帶寬，提高網(wǎng)絡(luò)整體的運(yùn)行效率。

流量調(diào)度配置：流量標(biāo)記策略通過流分類規(guī)則捕獲符合規(guī)則的流量，捕獲后，可以為流量添加DSCP（Differentiated Services Code Point）值作為標(biāo)記。

流量調(diào)度策略：流量調(diào)度策略依據(jù)流量被添加的DSCP值將流量劃分為不同的隊(duì)列，可以為不同的隊(duì)列指定可使用的帶寬值，保證各個(gè)隊(duì)列的帶寬不被侵占。

每個(gè)流量調(diào)度策略默認(rèn)包含一個(gè)默認(rèn)隊(duì)列，在使用流量調(diào)度功能的過程中，對于未符合流分類規(guī)則的流量以及符合流分類規(guī)則但未被劃分隊(duì)列的流量，均會(huì)被系統(tǒng)自動(dòng)劃分至流量調(diào)度策略的默認(rèn)隊(duì)列，默認(rèn)隊(duì)列占用跨地域連接的剩余帶寬。每個(gè)流量調(diào)度策略下，所有隊(duì)列的帶寬值之和不能超過跨地域連接的總帶寬。

云上多地域業(yè)務(wù)數(shù)據(jù)同步/協(xié)同互通

云上多個(gè)地域VPC存在跨域互聯(lián)的業(yè)務(wù)訴求，例如數(shù)據(jù)同步、遠(yuǎn)程運(yùn)維、AI訓(xùn)練等。

異地災(zāi)備

企業(yè)客戶可以通過在2個(gè)及以上多個(gè)城市節(jié)點(diǎn)部署業(yè)務(wù)系統(tǒng)，構(gòu)建異地災(zāi)備基礎(chǔ)架構(gòu)，避免單個(gè)城市節(jié)點(diǎn)故障，保障業(yè)務(wù)連續(xù)性。同時(shí)充分利用公有云資源即開即用、按量付費(fèi)的優(yōu)勢，以最低的成本來實(shí)現(xiàn)業(yè)務(wù)容災(zāi)目標(biāo)。

異地多活

企業(yè)客戶可以通過在2個(gè)及以上多個(gè)城市節(jié)點(diǎn)部署業(yè)務(wù)系統(tǒng)，構(gòu)建異地多活基礎(chǔ)架構(gòu)，既可以避免單個(gè)城市節(jié)點(diǎn)故障，保障業(yè)務(wù)連續(xù)性。同時(shí)也能解決用戶端就近互聯(lián)網(wǎng)接入，提升用戶端的訪問體驗(yàn)。