阿里云容器計算服務ACS基于Kubernetes網絡策略(Network Policy)提供策略級別的網絡控制。如果您希望在IP地址或者端口層面控制網絡流量,您可以為集群中特定應用使用網絡策略。本文介紹如何使用ACS集群的網絡策略及常用的使用場景。
前提條件
已使用kubectl連接Kubernetes集群。具體操作,請參見獲取集群KubeConfig并通過kubectl工具連接集群。
注意事項
如需通過控制臺的方式使用網絡策略功能,請到配額平臺提交申請。
如果通過命令行方式使用網絡策略功能,無需申請成為白名單用戶。
NetworkPolicy規則允許通過LabelSelector選擇Namespace或者Pod。但當Pod中的NetworkPolicy數量增大時,不僅會使規則生效時間延長,而且大量的NetworkPolicy規則也會對您的集群管理、問題排查帶來困擾,因此建議您集群內的NetworkPolicy數量小于40個。
步驟一:開啟網絡策略
安裝組件Poseidon。
登錄容器計算服務控制臺,在左側導航欄選擇集群。
在集群頁面,單擊目標集群ID,然后在左側導航欄,選擇運維管理 > 組件管理。
在組件管理頁面,單擊網絡頁簽,在Poseidon組件所在卡片的右下方,單擊安裝。
在安裝組件 Poseidon頁面,選中啟用 NetworkPolicy,然后單擊確認。
組件安裝成功后,會在卡片右上角出現已安裝字樣。
在Pod annotation配置啟用NetworkPolicy。
對需要使用NetworkPolicy的容器,必須配置下面annotation中的注解
network.alibabacloud.com/enable-network-policy-agent: "true"
,示例如下:apiVersion: v1 kind: Pod metadata: annotations: network.alibabacloud.com/enable-network-policy-agent: "true" name: example namespace: default spec: containers: - image: nginx imagePullPolicy: IfNotPresent name: example
步驟二:創建可以被其他Pod正常訪問的Nginx測試應用
通過控制臺操作
在集群頁面,單擊目標集群ID,然后在左側導航欄,選擇
。在無狀態頁面,單擊使用鏡像創建。
在創建配置向導頁面中,創建一個名稱為nginx的應用,并通過Service將其公開。配置完成后,單擊創建。
本示例的Nginx應用僅需配置以下配置項,其他配置項選擇默認配置。關于更多配置說明,請參見創建無狀態工作負載Deployment。
頁面
配置項
說明
示例值
應用基本信息
應用名稱
自定義名稱。
nginx
副本數量
按需選擇。
1
容器配置
鏡像名稱
單擊選擇鏡像,選擇所需的鏡像并單擊確定。
本例選擇官方Nginx鏡像,可以在搜索頁簽中,選擇制品中心,然后在文本框中輸入nginx進行搜索,并選擇對應的鏡像版本。
高級配置
服務(Service)
在服務(Service)右側,單擊創建設置服務配置項。
名稱:nginx
類型:
負載均衡
公網訪問
新建SLB
端口映射:
名稱:nginx
服務端口:80
容器端口:80
協議:TCP
再次在無狀態頁面,單擊使用鏡像創建。在創建配置向導頁面中,創建用于測試訪問名稱為busybox的客戶端應用,用于測試訪問上一步中創建的名為nginx的Service。
本示例的busybox客戶端應用僅需配置以下配置項,其他配置項選擇默認配置。關于更多配置說明,請參見使用鏡像創建無狀態Deployment應用。
頁面
配置項
說明
示例值
應用基本信息
應用名稱
自定義名稱。
busybox
副本數量
按需取值。
1
容器配置
鏡像名稱
直接輸入鏡像地址。
本例選擇直接輸入鏡像地址
registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2
容器啟動項
無
選中stdin和tty
驗證busybox客戶端應用是否可以訪問nginx Service。
在無狀態頁面,找到并單擊busybox名稱。
在容器組頁簽下的busybox-{hash值}容器組右側,單擊終端。
在busybox的命令行終端中執行
wget nginx
測試訪問Nginx。說明當出現200的返回信息時,說明您可以在busybox中訪問nginx Service。
通過命令行操作
執行以下命令,創建一個Nginx的應用,并通過名稱為nginx的Service與其通信。
創建Nginx應用:
kubectl run nginx --image=nginx
預期輸出:
pod/nginx created
查看Pod是否啟動:
kubectl get pod
預期輸出:
NAME READY STATUS RESTARTS AGE nginx 1/1 Running 0 45s
創建名為nginx的Service:
kubectl expose pod nginx --port=80
預期輸出:
service/nginx exposed
查看Service:
kubectl get service
預期輸出:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 172.XX.XX.1 <none> 443/TCP 30m nginx ClusterIP 172.XX.XX.48 <none> 80/TCP 12s
執行以下命令,創建名稱為busybox的Pod,訪問名為nginx的Service。
kubectl run busybox --rm -ti --image=registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2 /bin/sh
預期輸出:
If you don't see a command prompt, try pressing enter. / # / #
獲取Nginx:
If you don't see a command prompt, try pressing enter. / # / # wget nginx # wget nginx需要輸入到此處。
預期輸出:
Connecting to nginx (172.XX.XX.48:80) saving to 'index.html' index.html 100% |****************************************************************************************************************************************************| 612 0:00:00 ETA 'index.html' saved
步驟三:使用網絡策略
以下幾種場景均支持使用網絡策略,您可以按需選擇。
場景一:通過網絡策略限制服務只能被帶有特定標簽的應用訪問
通過控制臺操作
登錄容器計算服務控制臺,在左側導航欄選擇集群。
在集群列表頁面,單擊目標集群名稱,然后在左側導航欄,選擇 。
在網絡策略頁面上方,選擇放置網絡策略的命名空間,本示例選擇default,然后在頁面右上方,單擊創建,在創建面板中配置網絡策略。
配置項
說明
示例值
名稱
自定義網絡策略的名稱。
access-nginx
Pod選擇器
單擊+ 選擇工作負載添加標簽,設置使用網絡策略的Pod。
說明如果Pod選擇器設置為空,則對命名空間下所有Pod生效。
本文示例設置如下:
設置類型為:無狀態
設置工作負載為:nginx
設置標簽為:app=nginx
來源
每個網絡策略可包含一個來源(ingress規則)的白名單列表。 每個規則都允許同時匹配來源規則和特定端口部分的流量。
規則:
podSelector:此選擇器將在與網絡策略同命名空間中選擇特定的 Pod,并將其允許作為入站流量來源。
namespaceSelector:此選擇器將選擇特定的命名空間,并將所有Pod 用作其入站流量來源。
ipBlock:此選擇器將選擇特定的IP CIDR范圍以用作入站流量來源。
端口:支持TCP和UDP協議。
說明如果不添加任何規則,表示不允許訪問任何Pod與選擇的Pod進行訪問。
如果集群啟用IPvlan,您無法通過ipBlock來限制Pod網段流量,您需要使用podSelector。
本示例不添加任何來源規則。
去向
每個網絡策略可包含一個egress規則的白名單列表。每個規則都允許匹配去向規則和特定端口部分的流量。
規則:
podSelector:此選擇器將在與網絡策略同命名空間中選擇特定的Pod,并將其允許作為出站流量目的地。
namespaceSelector:此選擇器將選擇特定的命名空間,并將所有Pod用作其出站流量目的地。
ipBlock:此選擇器將選擇特定的IP CIDR范圍作為出站流量目的地。
端口:支持TCP和UDP協議。
說明如果集群啟用IPvlan,您無法通過ipBlock來限制Pod網段流量,您需要使用podSelector。
本示例不添加任何去向規則。
單擊下一步,然后單擊確定。
在busybox命令行終端執行
wget nginx
命令,測試與nginx Service的通信。具體操作,請參見步驟5。說明因為網絡策略沒有允許busybox訪問,所以訪問會超時。
修改網絡策略為允許busybox的應用訪問。
在網絡策略列表中,找到access-nginx網絡策略并在其右側,單擊編輯。
添加來源規則。
在來源右側,單擊+添加,并繼續以下操作:
在規則右側,單擊+添加。添加podSelector的訪問,規則設置如下:
配置項
示例值
選擇器
podSelector
類型
無狀態
工作負載
busybox
標簽
app=busybox
在端口右側,單擊+添加。端口設置如下:
配置項
示例值
協議
TCP
端口
80
單擊下一步,然后單擊確定。
執行
wget -O /dev/null nginx
命令,測試修改網絡策略后busybox與nginx的通信。說明網絡策略增加busybox應用的規則后,busybox可以正常訪問Nginx。
通過命令行操作
使用以下YAML模板并執行命令
vim policy.yaml
,創建名為policy.yaml文件。vim policy.yaml
以下為YAML文件內容。
kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: name: access-nginx spec: podSelector: matchLabels: run: nginx ingress: - from: - podSelector: matchLabels: access: "true"
執行以下命令,根據上述的policy.yaml文件創建網絡策略。
kubectl apply -f policy.yaml
預期輸出:
networkpolicy.networking.k8s.io/access-nginx created
執行以下命令,當沒有定義訪問標簽時,測試訪問名為nginx的Service,請求會超時,無法訪問。
kubectl run busybox --rm -ti --image=registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2 /bin/sh
測試訪問名為nginx的Service:
wget nginx
預期輸出:
Connecting to nginx (172.19.XX.XX:80) wget: can't connect to remote host (172.19.XX.XX): Connection timed out
執行以下命令,定義訪問標簽。
kubectl run busybox --rm -ti --labels="access=true" --image=registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2 /bin/sh
測試訪問nginx Service:
wget nginx
預期輸出:
Connecting to nginx (172.21.XX.XX:80) saving to 'index.html' index.html 100% |****************************************************************************************************************************************************| 612 0:00:00 ETA 'index.html' saved
連接nginx的進度為100%時,說明請求成功,可以正常訪問nginx服務。
場景二:通過網絡策略限制可訪問公網服務的來源IP網段
通過控制臺操作
為nginx Service設置網絡策略。相關配置,請參見通過網絡策略限制服務只能被帶有特定標簽的應用訪問。
在服務列表中的外部端點列下,查看步驟二:創建可以被其他Pod正常訪問的Nginx測試應用中nginx Service的公網訪問地址(47.xxx.xx.x),并在瀏覽器中訪問該地址。
說明由于已為nginx添加網絡策略,默認訪問nginx失敗。
通過網絡策略增加允許訪問的網段來允許客戶端訪問。
獲取本機的IP地址。
在網絡策略列表中,找到access-nginx網絡策略并在其右側,單擊編輯,然后在編輯面板中修改規則。
在來源右側,單擊+添加,并繼續以下操作:
在規則右側,單擊+添加。規則中增加本機的IP地址的訪問:
配置項
示例值
選擇器
ipBlock
cidr
<本機的IP地址>/32
例如42.xx.xx.xx/32
在規則右側,單擊+添加。規則中增加阿里云SLB的健康檢查網段的訪問:
配置項
示例值
選擇器
ipBlock
cidr
100.0.0.0/8
在端口右側,單擊+添加。端口設置如下:
配置項
示例值
協議
TCP
端口
80
單擊下一步,然后單擊確定。
在服務列表中的外部端點列下,單擊外部端點的IP,訪問nginx外部端點(47.xxx.xx.x:80)。
說明增加網絡策略后客戶端可以通過公網SLB訪問nginx。
通過命令行操作
執行以下命令,為上述名為nginx的應用創建阿里云SLB服務,指定
type=LoadBalancer
來向外網用戶暴露nginx服務。vim nginx-service.yaml
nginx-service.yaml文件模板如下。
# 將以下YAML內容粘貼至nginx-service.yaml中。 apiVersion: v1 kind: Service metadata: labels: run: nginx name: nginx-slb spec: externalTrafficPolicy: Local ports: - port: 80 protocol: TCP targetPort: 80 selector: run: nginx type: LoadBalancer
執行以下命令,根據上述的nginx-service.yaml文件創建網絡策略。
kubectl apply -f nginx-service.yaml
預期輸出:
service/nginx-slb created
查看應用是否對外暴露Nginx服務:
kubectl get service nginx-slb
預期輸出:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE nginx-slb LoadBalancer 172.19.xx.xxx 47.110.xxx.xxx 80:32240/TCP 8m
執行以下命令,訪問剛剛創建的SLB的IP地址47.110.xxx.xxx,訪問失敗。
wget 47.110.xxx.xxx
預期輸出:
--2018-11-21 11:46:05-- http://47.110.xx.xxx/ Connecting to 47.110.XX.XX:80... failed: Connection refused.
說明訪問失敗的原因是:
配置的nginx Service只能被帶有特定標簽即
access=true
的應用訪問。訪問SLB的IP地址,是從外部訪問Kubernetes,與通過網絡策略限制服務只能被帶有特定標簽的應用訪問不同。
解決方法:修改網絡策略,增加允許訪問的來源IP地址段。
執行以下命令,查看本地的IP地址。
curl myip.ipip.net
預期輸出:
當前IP:10.0.x.x來自于:中國 北京 北京 # 此處僅為示例,具體請以實際設備為準。
執行以下命令,修改已經創建的policy.yaml文件。
vim policy.yaml
將policy.yaml文件修改為如下內容:
# 以下為YAML文件內容。 kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: name: access-nginx spec: podSelector: matchLabels: run: nginx ingress: - from: - podSelector: matchLabels: access: "true" - ipBlock: cidr: 100.64.0.0/10 - ipBlock: cidr: 10.0.0.1/24 # 本地IP地址,此處僅為示例,具體請以實際設備為準。
執行以下命令,根據policy.yaml文件創建網絡策略。
kubectl apply -f policy.yaml
預期輸出:
networkpolicy.networking.k8s.io/access-nginx unchanged
說明有些網絡的出口有多個IP地址,這里請使用/24的地址范圍。
SLB健康檢查地址在
100.64.0.0/10
地址段內,因此請務必配置100.64.0.0/10
。
執行以下命令,創建Nginx服務。
kubectl run busybox --rm -ti --labels="access=true" --image=registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2 /bin/sh
訪問Nginx服務:
wget 47.110.XX.XX
預期輸出:
Connecting to 47.110.XX.XX (47.110.XX.XX:80) index.html 100% |***********************************************************| 612 0:00:00 ETA
連接進度顯示100%時,說明成功訪問Nginx服務。
場景三:通過網絡策略限制一個Pod只能訪問指定地址
通過控制臺操作
本文以www.aliyun.com和registry.aliyuncs.com為例,說明通過設置網絡策略一個Pod只能訪問registry.aliyuncs.com。
通過Ping命令查詢registry.aliyuncs.com地址綁定的IP地址(120.55.XXX.XXX)。
在網絡策略中創建規則限制busybox應用只能訪問registry.aliyuncs.com。
在網絡策略頁面右上角,單擊創建,然后在創建面板中配置網絡策略規則。
設置類型為:無狀態
設置工作負載為:busybox
設置標簽為:app=busybox
選擇器:ipBlock
cidr:120.55.XXX.XXX/32
在規則右側,單擊+添加,添加命名空間選擇器為全部的規則。
在端口右側,單擊+添加。添加UDP 53的規則用來保障應用可以解析DNS。
規則:
選擇器:namespaceSelector
命名空間:全部
端口:
協議:UDP
端口:53
單擊下一步,然后單擊確定。
在busybox終端執行以下命令,分別訪問www.aliyun.com和registry.aliyuncs.com。
nc -vz -w 1 www.aliyunc.com 443
nc -vz -w 1 registry.aliyuncs.com 443
增加網絡策略后,busybox應用只能訪問registry.aliyuncs.com而無法訪問其他地址。
關于具體的參數描述,請參見通過網絡策略限制服務只能被帶有特定標簽的應用訪問。示例配置如下。
配置項
說明
示例值
名稱
自定義網絡策略的名稱。
busybox-policy
Pod選擇器
單擊+ 選擇工作負載添加標簽,設置使用網絡策略的Pod。
說明如果Pod選擇器設置為空,則對命名空間下所有Pod生效。
本文示例設置如下:
去向
在去向右側,單擊+添加,然后在規則右側,單擊+添加。
添加ipBlock為前面獲取的registry.aliyuncs.com的解析的IP地址(120.55.XXX.XXX)/32的規則。
在去向右側,單擊+添加,添加命名空間選擇器為全部命名空間的UDP 53端口的訪問的規則,用來保障應用可以解析DNS。
通過命令行操作
執行以下命令,獲取www.aliyun.com域名解析到的IP地址列表。
dig +short www.aliyun.com
預期輸出:
www-jp-de-intl-adns.aliyun.com. www-jp-de-intl-adns.aliyun.com.gds.alibabadns.com. v6wagbridge.aliyun.com. v6wagbridge.aliyun.com.gds.alibabadns.com. 106.XX.XX.21 140.XX.XX.4 140.XX.XX.13 140.XX.XX.3
執行以下命令,創建busybox-policy文件。
vim busybox-policy.yaml
busybox-policy文件模板如下:
# 以下為YAML文件內容。 kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: name: busybox-policy spec: podSelector: matchLabels: run: busybox egress: - to: - ipBlock: cidr: 106.XX.XX.21/32 - ipBlock: cidr: 140.XX.XX.4/32 - ipBlock: cidr: 140.XX.XX.13/32 - ipBlock: cidr: 140.XX.XX.3/32 - to: - ipBlock: cidr: 0.0.0.0/0 - namespaceSelector: {} ports: - protocol: UDP port: 53
說明在busybox-policy文件中,配置了去向規則(Egress),限制應用的對外訪問。在這里需配置允許UDP請求,否則無法做DNS解析。
執行以下命令,根據busybox-policy文件創建網絡策略。
kubectl apply -f busybox-policy.yaml
預期輸出:
networkpolicy.networking.k8s.io/busybox-policy created
執行以下命令,創建busybox。
kubectl run busybox --rm -ti --image=registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2 /bin/sh
訪問www.aliyun.com之外的網站,例如,www.taobao.com:
wget www.taobao.com
預期輸出:
Connecting to www.taobao.com (64.13.XX.XX:80) wget: can't connect to remote host (64.13.XX.XX): Connection timed out
出現can't connect to remote host時,說明訪問服務失敗。
執行以下命令,訪問www.aliyun.com。
wget www.aliyun.com
預期輸出:
Connecting to www.aliyun.com (140.205.XX.XX:80) Connecting to www.aliyun.com (140.205.XX.XX:443) wget: note: TLS certificate validation not implemented index.html 100% |***********************************************************| 462k 0:00:00 ETA
進行顯示100%,說明成功訪問服務。
場景四:通過網絡策略控制命名空間下Pod公網訪問權限
此操作有可能影響線上正在訪問公網的服務,建議在一個空的命名空間中進行以下操作。
通過控制臺操作
在網絡策略頁面右上角,單擊創建,然后在創建面板中配置網絡策略規則。
關于具體的參數描述及操作,請參見通過網絡策略限制服務只能被帶有特定標簽的應用訪問。示例配置如下。
配置項
示例值
名稱
deny-public-net
Pod選擇器
設置類型為全部。
來源
添加以下兩條規則:
設置namespaceSelector的全部允許的規則。
設置ipBlock的全部允許的規則。
去向
添加只允許訪問內網的規則:
設置namespaceSelector的全部允許的規則,允許Pod訪問內網的所有Pod。
設置ipBlock的三條內網網段的規則,包括以下三個內網網段:
10.0.0.0/8
172.16.0.0/12
192.168.0.0/16
說明不可同時在一條ipBlock規則中添加多個網段。
單擊下一步,然后單擊確定。
在集群詳情的基本信息頁簽,獲取內網IP和端口。
在busybox終端執行以下命令,分別測試Pod的公網訪問權限和內網訪問權限。
nc -vz -w 1 www.aliyunc.com 443
nc -vz -w 1 10.xx.xx.xx:<IP端口> # 此處的IP地址為您的內網地址。
說明Pod只能訪問內網的地址而無法訪問公網的地址。
通過命令行操作
執行以下命令,創建一個測試的命名空間來驗證限制的能力。
創建一個test-np的命名空間。
kubectl create ns test-np
預期輸出:
namespace/test-np created
執行以下命令,為這個命名空間設置默認的只允許主動訪問私網的網絡策略規則。
vim default-deny.yaml
以下為default-deny.yaml文件的示例模板:
# 以下為YAML文件內容。 kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: namespace: test-np name: deny-public-net spec: podSelector: {} ingress: - from: - ipBlock: cidr: 0.0.0.0/0 egress: - to: - ipBlock: cidr: 192.168.0.0/16 - ipBlock: cidr: 172.16.0.0/12 - ipBlock: cidr: 10.0.0.0/8
查看default-deny.yaml文件是否已創建成功。
kubectl apply -f default-deny.yaml
預期輸出:
networkpolicy.networking.k8s.io/deny-public-net created
查看網絡策略:
kubectl get networkpolicy -n test-np
預期輸出:
NAME POD-SELECTOR AGE deny-public-net <none> 1m
執行以下命令,為特殊標簽的Pod設置允許訪問公網。
vim allow-specify-label.yaml
示例標簽設置為
public-network=true
。# 以下為YAML文件內容。 kind: NetworkPolicy apiVersion: networking.k8s.io/v1 metadata: name: allow-public-network-for-labels namespace: test-np spec: podSelector: matchLabels: public-network: "true" ingress: - from: - ipBlock: cidr: 0.0.0.0/0 egress: - to: - ipBlock: cidr: 0.0.0.0/0 - namespaceSelector: matchLabels: ns: kube-system
執行如下命令,創建網絡策略:
kubectl apply -f allow-specify-label.yaml
預期輸出:
networkpolicy.networking.k8s.io/allow-public-network-for-labels created
查看網絡策略:
kubectl get networkpolicy -n test-np
預期輸出:
NAME POD-SELECTOR AGE allow-public-network-for-labels public-network=true 1m deny-public-net <none> 3m
執行以下命令驗證無特殊標簽的Pod不能訪問公網。
kubectl run -it --namespace test-np --rm --image=registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2 busybox-intranet
ping aliyun.com
預期輸出:
PING aliyun.com (106.11.2xx.xxx): 56 data bytes ^C --- aliyun.com ping statistics --- 9 packets transmitted, 0 packets received, 100% packet loss
顯示0 packets received時,說明訪問失敗。
說明訪問失敗的原因是:由于通過deny-public-net的網絡策略規則限制了test-np的這個命名空間下的Pod的默認的公網訪問,所以它下面啟動的默認標簽的Pod無法訪問公網。
執行以下命令驗證帶有public-network=true的Pod可以訪問服務。
kubectl run -it --namespace test-np --labels public-network=true --rm --image registry.cn-hangzhou.aliyuncs.com/acs/busybox:v1.29.2 busybox-internet
ping aliyun.com
預期輸出:
PING aliyun.com (106.11.1xx.xx): 56 data bytes 64 bytes from 106.11.1xx.xx: seq=0 ttl=47 time=4.235 ms 64 bytes from 106.11.1xx.xx: seq=1 ttl=47 time=4.200 ms 64 bytes from 106.11.1xx.xx: seq=2 ttl=47 time=4.182 ms ^C --- aliyun.com ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 4.182/4.205/4.235 ms
顯示0% packet loss時,說明成功訪問服務。
說明可以正常訪問的原因是:由于在allow-public-network-for-labels的網絡策略的規則中允許了帶有public-network=true的Pod的公網訪問,所以在帶有這個Label的busybox-internet的Pod可以訪問公網。