CEN構建云上跨地域網絡
概述
本文簡介
本章卓越架構設計重點介紹當云上不同地域間的VPC、VBR、云服務等要互通訪問時（云上多地域業務數據同步/協同互通、異地多活、異地容災），使用轉發路由器TR進行互聯并配置跨地域互通帶寬，構建企業云上多個地域間的互聯互通。
本文面向技術人員，例如CTO、架構師、開發人員和運營團隊成員等，介紹基于TR構建云上跨地域網絡的方案和方法，參考本文結合客戶現有業務進行云上跨地域網絡的規劃設計。
基本概念
VPC：專有網絡VPC（Virtual Private Cloud）是用戶基于阿里云創建的自定義私有網絡, 不同的專有網絡之間二層邏輯隔離，用戶可以在自己創建的專有網絡內創建和管理云產品實例，比如ECS、SLB、RDS等。
高速通道：高速通道（Express Connect）是一款連接企業數據中心與阿里云的網絡服務，可在企業數據中心與云上網絡之間建立高速、穩定、安全的私網通信通道。高速通道的數據傳輸過程可信可控，能有效提高網絡通信的質量及安全性。
VBR：阿里云基于軟件自定義網絡SDN架構下的三層Overlay技術和交換機虛擬化技術，將物理專線的接入端口隔離起來，并抽象成邊界路由器VBR（Virtual border router）。VBR是CPE設備和專有網絡VPC之間的一個路由器，作為數據從VPC到本地數據中心IDC的轉發橋梁。
云企業網：云企業網CEN（Cloud Enterprise Network）是運行在阿里云私有全球網絡上的一張高可用網絡。云企業網通過轉發路由器TR（Transit Router）幫助企業在跨地域專有網絡之間，專有網絡與本地數據中心間搭建私網通信通道，打造一張靈活、可靠、大規模的企業級云上網絡。
云數據傳輸：云數據傳輸（Cloud DataTransfer，簡稱CDT）是一種為云上流量提供統一計費和出賬服務的開通型產品。通過CDT，可以實現流量資源的彈性使用和便捷管理，從而有效降低IT成本。
支持對公網類產品的公網流量累計階梯計費，每月按地域匯總累計階梯，用量越大單價越低。
支持對跨地域類產品的跨地域流量按流量計費，這種計費方式更加靈活，方便按需使用。
設計原則
本小節概述了跨地域網絡中常見的兩個關鍵場景的設計和架構。重點介紹了針對每個場景所做的設計原則以及如何實現這些場景的參考架構。
整體架構設計主要圍繞TR間連接關系、跨地域帶寬、安全三個模塊，具體如下：
TR間連接關系設計
直連的2個TR可以自動學習路由，也可以手動配置路由實現互通。
通過中間TR連接2個TR，并手動配置路由實現互通。
優先推薦直連互通。如果有通過中間TR做訪問控制或者可能復用節省帶寬考慮時，也可以考慮使用中間TR中轉互通設計。
跨地域帶寬設計
直連的兩個TR除了配置互通連接關系外，還需要配置互通帶寬，有2種方式：
按帶寬計費：購買云企業網CEN大區間帶寬包（按帶寬計費），并將帶寬分配到要互通的地域間，分配的帶寬即為互通的限速帶寬。
按流量計費：不需要購買CEN帶寬包，在配置TR間互通時勾選按流量計費，并且配置互通的帶寬峰值，注意該帶寬為限速帶寬。
推薦原則：業務峰谷明顯時推薦按流量計費、業務平穩時推薦按帶寬計費。
如果互通地域間跑多個業務（比如在線業務和離線業務），為了防止業務間相互擠占帶寬，可以配置跨地域Qos。
安全設計【可選】
TR路由策略、VPC的NACL、安全組、防火墻等防護策略對跨地域互通都有效，按需設計即可。
設計關鍵點
整體方案設計圍繞穩定性、高性能&大彈性、安全、可觀測、自服務等5個設計原則。
穩定性設計
TR間跨地域互通的底層網絡是阿里云全球傳輸網絡，其中Underlay層多路徑專線+智能調度容災設計，Overlay層通過ZooRoute自動探活底層可用路徑、業務收發包自動剔除故障路徑、秒級容災能力保證鏈路高可用。同時，建議優先使用TR直連互通并開啟自動路由學習方式，以便于網絡拓撲變化后路由隨動刷新。
TR集群雙AZ高可靠：轉發路由器TR默認提供主備兩個節點，主備節點自動切換，保障業務不中斷。全網任意兩個節點之間存在多組高質量傳輸鏈路，底層鏈路中斷網絡自動收斂，業務無感知。
同城VPC接入雙AZ高可靠：VPC實例關聯至TR時，請務必確保至少2個及以上可用區VSW ENI連接，保障同城VPC多可用區高可靠。由于與TR互聯的VPC ENI主要用于VPC進出流量的轉發，故為了和其他業務資源所需VSW的隔離以及不浪費企業的私網地址，我們一般建議在VPC下對應AZ創建兩個/29的子網地址。
跨域連接多線路冗余高可靠：圍繞TR跨地域連接，依托于底層阿里云傳輸網絡基礎設施，確保每個跨連接底層都是多對物理線路HA保障業務的連續性，SLA可達99.95%。近期我們全新推出更高質量的鉑金線路，SLA可高達99.995%。
混合云專線/VPN接入的高可靠：請參考專線鏈路的可靠性設計中“專線鏈路的可靠性設計”章節內容。
高性能&大彈性設計
TR集群的高性能和彈性：單個TR集群最大支持400Gbps轉發性能，且單個VPC連接最大支持50Gbps（華東1（杭州）、華東2（上海）、華北2（北京）、華南1（深圳）、中國香港、新加坡地域為50 Gbps，其余地域為10 Gbps），無需用戶配置規格按需彈性。若有更高的性能要求，建議聯系您的阿里云商務經理。
跨地域流量的流量調度功能：用戶能夠依據標記值對不同類型的跨地域流量分別進行帶寬限制，有效保證各類業務的跨地域帶寬，提高網絡整體的運行效率。
跨域帶寬支持彈性付費：跨地域按帶寬計費模式可以按月或按天靈活升配帶寬。若已提前開通云數據傳輸服務CDT，TR跨地域帶寬支持按流量計費。地域間限速帶寬默認為1Gbps，用戶可以在產品配額中心自助擴容。通過對跨域帶寬峰值的調整，實現跨域互聯帶寬資源彈性擴容/縮容，來降低企業的單位成本。
跨域時延：用戶能夠基于網絡智能服務NIS-性能觀測模塊的云網絡互訪性能，自助查詢跨地域時延，來提前規劃最優的多地域部署。
安全設計
若用戶在網絡互聯的基礎上，存在一些訪問控制的網絡安全需求。用戶可通過TR路由策略、VPC的NACL、安全組、云防火墻等網絡方案服務來按需設計訪問控制策略，對同地域及跨地域互通都有效。
可觀測設計
跨域網絡流量觀測分析：通過NIS-跨域流量分析模塊觀測跨域流量大小，判斷總體業務是否異常，是否有異常流量。通過觀測IP粒度的流量信息，判斷個體業務是否異常，以及異常流量主要消耗在哪里。NIS流量分析能夠以IP、端口、協議多維度展示通過轉發路由器TR的云上跨域VPC，云上云下IDC間出入方向的流量，實現Top流量分析。
跨域網絡流量監控分析：通過阿里云云監控Dashboard服務結合云企業網健康檢查、基礎監控模塊等功能，可以查看CEN跨域帶寬及物理專線的監控信息，包括流出帶寬、流入帶寬、延時和丟包率。
自服務設計
建議開啟云網絡智能服務NIS及云監控監控項的告警，及時感知風險。
企業運維人員可按需通過IaC自服務開通/部署/配置，無需阿里云后臺接入，以便于更高效地支撐業務發展、降低業務受損影響。
設計最佳實踐
場景一、通過TR構建云上/云下多個地域VPC的跨地域互聯網絡
場景概述：專有網絡VPC實例、專線VBR實例、VPN實例被連接至轉發路由器后，需要在轉發路由器下創建跨地域連接，并為跨地域連接分配帶寬，從而實現云上云下不同地域間的跨地域互通網絡。
IDC上云接入：企業通過上云專線和IPsec-VPN打通IDC與阿里云杭州。企業IDC與阿里云專線接入點考慮到冗余性，建議優先考慮雙物理專線或物理專線+VPN雙線接入，并可以按需配置為雙鏈路主備或負載冗余的方式，提升混合云互通時的整體可靠性。
云上跨地域：通過TR構建阿里云上海-杭州跨地域連接，同時開通CDT跨域帶寬按流量計費，打通上海VPC、杭州VPC、杭州IDC。
若企業有三個及以上地域互聯互通的需求，也可以在此架構基礎之上，擴展多個地域TR的跨地域連接。
場景二、通過TR構建多地域fullmesh互聯的組網模式
場景概述：客戶在阿里云上海、深圳、杭州、北京VPC分別部署了服務，且多個地域間因業務需要，要求全地域打通，形成fullmesh組網。
云上多地域互聯：通過四個地域下的TR構建多條跨地域連接，同時建議優先考慮開通CDT跨地域帶寬按流量計費來降低跨地域的帶寬成本，打通上海、深圳、杭州、北京VPC。
場景三、通過TR構建多地域hub-spoke互聯的組網模式
場景概述：客戶在阿里云上海、深圳、杭州、北京VPC分別部署了服務，上海為客戶業務主中心，深圳、北京、杭州VPC均部署了前端服務需要與上海主中心做實時交互。但其他三個地域暫不存在互聯的需求
云上多地域互聯：通過上海地域TR分別與深圳、北京、杭州構建跨地域連接，同時建議優先考慮開通CDT跨域帶寬按流量計費來降低跨域的帶寬成本，打通上海與深圳、北京、杭州的鏈路。
場景四、使用流量調度功能控制各類流量的跨地域帶寬
場景概述：跨地域連接的總帶寬是固定的，在跨地域連接傳輸流量的過程中，各種業務流量通常會相互擠占帶寬，造成網絡利用率不高、業務通信質量下降等問題。不同業務的流量對網絡的要求不同，例如：
視頻會議和語音通話類流量注重網絡傳輸的實時性，高丟包率和頻繁抖動會降低通信質量。
辦公SaaS類流量注重響應的及時性，網絡堵塞會降低用戶的使用體驗。
辦公文件傳輸類流量注重網絡吞吐量，需要網絡提供足夠的帶寬，對網絡時延、網絡抖動等網絡性能指標要求不高。
流量調度功能支持為不同類型的跨地域流量添加標記，并且能夠依據標記值對不同類型的跨地域流量分別進行帶寬限制，有效保證各類業務的跨地域帶寬，提高網絡整體的運行效率。
流量調度配置：流量標記策略通過流分類規則捕獲符合規則的流量，捕獲后，可以為流量添加DSCP（Differentiated Services Code Point）值作為標記。
流量調度策略：流量調度策略依據流量被添加的DSCP值將流量劃分為不同的隊列，可以為不同的隊列指定可使用的帶寬值，保證各個隊列的帶寬不被侵占。
每個流量調度策略默認包含一個默認隊列，在使用流量調度功能的過程中，對于未符合流分類規則的流量以及符合流分類規則但未被劃分隊列的流量，均會被系統自動劃分至流量調度策略的默認隊列，默認隊列占用跨地域連接的剩余帶寬。每個流量調度策略下，所有隊列的帶寬值之和不能超過跨地域連接的總帶寬。
應用場景介紹
云上多地域業務數據同步/協同互通
云上多個地域VPC存在跨域互聯的業務訴求，例如數據同步、遠程運維、AI訓練等。
異地災備
企業客戶可以通過在2個及以上多個城市節點部署業務系統，構建異地災備基礎架構，避免單個城市節點故障，保障業務連續性。同時充分利用公有云資源即開即用、按量付費的優勢，以最低的成本來實現業務容災目標。
異地多活
企業客戶可以通過在2個及以上多個城市節點部署業務系統，構建異地多活基礎架構，既可以避免單個城市節點故障，保障業務連續性。同時也能解決用戶端就近互聯網接入，提升用戶端的訪問體驗。