1. Kubernetes 中的网络隔离
Kuberntes 自 1.3 引入了 Network Policy(网络策略) ,通过 ipBlock、podSelector、namespaceSelector 定义实体,控制其 From(Ingress)、To(Egress)的流量行为。但 Kubernetes 只是定义了网络策略,具体实现依赖网络插件。目前,Calico、Cilium、Weave Net 等网络插件都支持网络隔离功能。不同的 Kubernetes 版本对网络隔离支持的程度不一样。1.3~1.6 需要在 kube-apiserver 中开启 extensions/v1beta1/networkpolicies
,1.7 之后可以直接使用,1.8 新增了 Egress 、IPBlock 支持。如果没有配置任何网络策略,默认情况下流量行为将没有任何限制。
2. 网络隔离对象的字段属性
下面是官方文档中的示例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
|
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: test-network-policy
namespace: default
spec:
podSelector:
matchLabels:
role: db
policyTypes:
- Ingress
- Egress
ingress:
- from:
- ipBlock:
cidr: 172.17.0.0/16
except:
- 172.17.1.0/24
- namespaceSelector:
matchLabels:
project: myproject
- podSelector:
matchLabels:
role: frontend
ports:
- protocol: TCP
port: 6379
egress:
- to:
- ipBlock:
cidr: 10.0.0.0/24
ports:
- protocol: TCP
port: 5978
|
为了更直观地看到网络策略的组成,我画了一张示意图:一个 NetworkPolicy 包含四个部分:
- 需要控制的 Pods
- 策略类型,Ingress、Egress 可选
- Ingress 策略,包括 Entity 和端口、协议定义
- Egress 策略,包括 Entity 和端口、协议定义
其中的 Entity 有三种类型可选,ipBlock 指定一个 IP 范围,namespaceSelector 指定匹配的命名空间,podSelector 指定匹配的 Pods 。如果针对同一个实体,定义了多个 NetworkPolicy,那么命中其中一项即可通行。
3. 网络隔离示例
在 Ingress 和 Egress 的配置过程中会遇到两个特殊对象 []
,{}
。如果是 []
,那么表示不指向任何实体,通常用于禁用流量;而 {}
表示全部实体,通常用于放行流量。另外一个值得注意的地方是,列表表示或的关系。
1
2
3
4
5
6
|
egress:
- ports:
- port: 443
protocol: TCP
- to:
- namespaceSelector: {}
|
表示允许全部的 443 端口 TCP 流量,同时允许全部命名空间的任意端口流量。
1
2
3
4
5
6
|
egress:
- ports:
- port: 443
protocol: TCP
to:
- namespaceSelector: {}
|
表示允许指向全部命名空间的 443 端口 TCP 流量。
3.1 拒绝访问 Pod 的全部流量
1
|
kubectl run --generator=run-pod/v1 web --image=nginx --labels app=web --expose --port 80
|
验证默认情况下,Kubernetes 对流量没有进行限制。
1
2
3
4
5
6
7
|
kubectl run --generator=run-pod/v1 --rm -i -t --image=alpine test-$RANDOM -- sh
/ # wget -qO- http://web
<!DOCTYPE html>
<html>
<head>
...
|
包含 app=web 标签的 Pods 将拒绝全部访问流量。Ingress 为 []
的含义是匹配的实体为空。
1
2
3
4
5
6
7
8
9
10
11
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: web-deny-all
spec:
podSelector:
matchLabels:
app: web
ingress: []
EOF
|
1
2
3
4
|
kubectl run --generator=run-pod/v1 --rm -i -t --image=alpine test-$RANDOM -- sh
/ # wget -qO- --timeout=2 http://web
wget: download timed out
|
1
2
3
|
kubectl delete pod web
kubectl delete service web
kubectl delete networkpolicy web-deny-all
|
3.2 仅允许指定的 Pods 访问应用
1
|
kubectl run --generator=run-pod/v1 apiserver --image=nginx --labels app=bookstore,role=api --expose --port 80
|
仅允许包含标签 app=bookstore 的 Pods 访问应用。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: api-allow
spec:
podSelector:
matchLabels:
app: bookstore
role: api
ingress:
- from:
- podSelector:
matchLabels:
app: bookstore
EOF
|
1
2
3
4
|
kubectl run --generator=run-pod/v1 test-$RANDOM --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://apiserver
wget: download timed out
|
1
2
3
4
|
kubectl run --generator=run-pod/v1 test-$RANDOM --rm -i -t --image=alpine --labels app=bookstore,role=frontend -- sh
/ # wget -qO- --timeout=2 http://apiserver
<!DOCTYPE html>
<html><head>
|
1
2
3
|
kubectl delete pod apiserver
kubectl delete service apiserver
kubectl delete networkpolicy api-allow
|
3.3 允许访问 Pod 的全部流量
1
|
kubectl run --generator=run-pod/v1 web --image=nginx --labels=app=web --expose --port 80
|
Ingress 设置为 {}
空的含义是允许全部来源。
1
2
3
4
5
6
7
8
9
10
11
12
13
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: web-allow-all
namespace: default
spec:
podSelector:
matchLabels:
app: web
ingress:
- {}
EOF
|
1
2
3
4
5
|
kubectl run --generator=run-pod/v1 test-$RANDOM --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web
<!DOCTYPE html>
<html><head>
|
1
2
|
kubectl delete pod,service web
kubectl delete networkpolicy web-allow-all
|
3.4 拒绝其他命名空间的访问流量
1
|
kubectl run --generator=run-pod/v1 web --namespace default --image=nginx --labels=app=web --expose --port 80
|
仅允许 default 命名空间内的 Pods 相互访问,不允许其他命名空间的 Pods 访问。
1
2
3
4
5
6
7
8
9
10
11
12
13
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
namespace: default
name: deny-from-other-namespaces
spec:
podSelector:
matchLabels:
ingress:
- from:
- podSelector: {}
EOF
|
1
2
3
4
5
|
kubectl create namespace foo
kubectl run --generator=run-pod/v1 test-$RANDOM --namespace=foo --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
wget: download timed out
|
1
2
3
4
5
|
kubectl run --generator=run-pod/v1 test-$RANDOM --namespace=default --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
<!DOCTYPE html>
<html>
|
1
2
3
4
|
kubectl delete pod web
kubectl delete service web
kubectl delete networkpolicy deny-from-other-namespaces
kubectl delete namespace foo
|
3.5 允许全部命名空间访问指定的 Pods
1
|
kubectl run --generator=run-pod/v1 web --image=nginx --namespace default --labels=app=web --expose --port 80
|
仅允许 default 命名空间下,标签为 app=web 的 Pod 被访问。default 下的其他 Pod 不允许被访问。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
namespace: default
name: web-allow-all-namespaces
spec:
podSelector:
matchLabels:
app: web
ingress:
- from:
- namespaceSelector: {}
EOF
|
1
2
3
4
5
6
7
|
kubectl create namespace secondary
kubectl run --generator=run-pod/v1 test-$RANDOM --namespace=secondary --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
<!DOCTYPE html>
<html>
<head>
|
1
2
3
4
|
kubectl delete pod web -n default
kubectl delete service web -n default
kubectl delete networkpolicy web-allow-all-namespaces -n default
kubectl delete namespace secondary
|
3.6 允许指定命名空间访问指定的 Pods
1
|
kubectl run --generator=run-pod/v1 web --image=nginx --labels=app=web --expose --port 80
|
1
2
3
4
|
kubectl create namespace dev
kubectl label namespace/dev purpose=testing
kubectl create namespace prod
kubectl label namespace/prod purpose=production
|
仅允许命名空间包含标签 purpose=production 的 Pod 访问指定的应用,其他应用不允许访问。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: web-allow-prod
spec:
podSelector:
matchLabels:
app: web
ingress:
- from:
- namespaceSelector:
matchLabels:
purpose: production
EOF
|
1
2
3
4
|
kubectl run --generator=run-pod/v1 test-$RANDOM --namespace=dev --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
wget: download timed out
|
1
2
3
4
5
6
|
kubectl run --generator=run-pod/v1 test-$RANDOM --namespace=prod --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
<!DOCTYPE html>
<html>
<head>
|
1
2
3
4
|
kubectl delete networkpolicy web-allow-prod
kubectl delete pod web
kubectl delete service web
kubectl delete namespace {prod,dev}
|
3.7 仅允许指定空间中的指定 Pod 访问应用
此功能需要 Kubernetes 1.11 及以上版本。
1
|
kubectl run --generator=run-pod/v1 web --image=nginx --labels=app=web --expose --port 80
|
1
2
|
kubectl create namespace other
kubectl label namespace/other team=operations
|
命名空间和 Pods 需要同时满足要求时,才可以访问指定的应用。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: web-allow-all-ns-monitoring
namespace: default
spec:
podSelector:
matchLabels:
app: web
ingress:
- from:
- namespaceSelector: # chooses all pods in namespaces labelled with team=operations
matchLabels:
team: operations
podSelector: # chooses pods with type=monitoring
matchLabels:
type: monitoring
EOF
|
1
2
3
4
|
kubectl run --generator=run-pod/v1 test-$RANDOM --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
wget: download timed out
|
1
2
3
4
|
kubectl run --generator=run-pod/v1 test-$RANDOM --labels type=monitoring --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
wget: download timed out
|
1
2
3
4
|
kubectl run --generator=run-pod/v1 test-$RANDOM --namespace=other --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
wget: download timed out
|
1
2
3
4
5
6
|
kubectl run --generator=run-pod/v1 test-$RANDOM --namespace=other --labels type=monitoring --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://web.default
<!DOCTYPE html>
<html>
<head>
|
1
2
3
4
|
kubectl delete networkpolicy web-allow-all-ns-monitoring
kubectl delete namespace other
kubectl delete pod web
kubectl delete service web
|
3.8 仅允许访问 Pods 的指定端口
1
|
kubectl run --generator=run-pod/v1 apiserver --image=ahmet/app-on-two-ports --labels=app=apiserver
|
这个应用将在 8000 端口返回 Hello 响应,而在 5000 端口返回监控数据。下面将 Pod 暴露到 Service 上:
1
|
kubectl create service clusterip apiserver --tcp 8001:8000 --tcp 5001:5000
|
仅允许包含标签 role=monitoring 的 Pod 访问应用的 5000 端口。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: api-allow-5000
spec:
podSelector:
matchLabels:
app: apiserver
ingress:
- ports:
- port: 5000
from:
- podSelector:
matchLabels:
role: monitoring
EOF
|
1
2
3
4
5
6
7
|
kubectl run --generator=run-pod/v1 test-$RANDOM --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://apiserver:8001
wget: download timed out
/ # wget -qO- --timeout=2 http://apiserver:5001/metrics
wget: download timed out
|
1
2
3
4
5
6
7
8
9
|
kubectl run --generator=run-pod/v1 test-$RANDOM --labels=role=monitoring --rm -i -t --image=alpine -- sh
/ # wget -qO- --timeout=2 http://apiserver:8001
wget: download timed out
/ # wget -qO- --timeout=2 http://apiserver:5001/metrics
http.requests=1
go.goroutines=5
go.cpus=4
|
1
2
3
|
kubectl delete pod apiserver
kubectl delete service apiserver
kubectl delete networkpolicy api-allow-5000
|
3.9 使用多个选择器指定访问来源
1
|
kubectl run --generator=run-pod/v1 db --image=redis:4 --port 6379 --expose --labels app=bookstore,role=db
|
可以同时配置多个允许的来源,只需要其中一个匹配即可访问。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
cat <<EOF | kubectl apply -f -
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: redis-allow-services
spec:
podSelector:
matchLabels:
app: bookstore
role: db
ingress:
- from:
- podSelector:
matchLabels:
app: bookstore
role: search
- podSelector:
matchLabels:
app: bookstore
role: api
- podSelector:
matchLabels:
app: inventory
role: web
EOF
|
1
2
3
4
5
6
|
kubectl run --generator=run-pod/v1 test-$RANDOM --labels=app=inventory,role=web --rm -i -t --image=alpine -- sh
/ # nc -v -w 2 db 6379
db (10.59.242.200:6379) open
(works)
|
1
2
3
4
5
6
|
kubectl run --generator=run-pod/v1 test-$RANDOM --labels=app=other --rm -i -t --image=alpine -- sh
/ # nc -v -w 2 db 6379
nc: db (10.59.252.83:6379): Operation timed out
(traffic blocked)
|
1
2
3
|
kubectl delete pod db
kubectl delete service db
kubectl delete networkpolicy redis-allow-services
|
3.10 禁止 Pod 的出口流量
1
|
kubectl run --generator=run-pod/v1 web --image=nginx --port 80 --expose --labels app=web
|
禁止包含标签 app=foo 的 Pod 任何出口流量。
1
2
3
4
5
6
7
8
9
10
11
12
13
|
cat <<EOF | kubectl apply -f -
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: foo-deny-egress
spec:
podSelector:
matchLabels:
app: foo
policyTypes:
- Egress
egress: []
EOF
|
1
2
3
4
5
6
7
|
kubectl run --generator=run-pod/v1 --rm --restart=Never --image=alpine -i -t -l app=foo test -- ash
/ # wget -qO- --timeout 1 http://web:80/
wget: bad address 'web:80'
/ # wget -qO- --timeout 1 http://www.example.com/
wget: bad address 'www.example.com'
|
1
2
|
kubectl delete pod,service web
kubectl delete networkpolicy foo-deny-egress
|
3.11 拒绝外部出口流量
1
|
kubectl run --generator=run-pod/v1 web --image=nginx --port 80 --expose --labels app=web
|
允许包含标签 app=foo 的 Pods 访问全部 53 端口的服务,同时允许访问全部命名空间的应用。这里的 ports 和 to 是或的关系。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
cat <<EOF | kubectl apply -f -
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: foo-deny-external-egress
spec:
podSelector:
matchLabels:
app: foo
policyTypes:
- Egress
egress:
- ports:
- port: 53
protocol: UDP
- port: 53
protocol: TCP
- to:
- namespaceSelector: {}
EOF
|
1
2
3
4
5
6
7
8
9
10
|
kubectl run --generator=run-pod/v1 --rm --restart=Never --image=alpine -i -t -l app=foo test -- ash
/ # wget -O- --timeout 1 http://web:80
Connecting to web (10.59.245.232:80)
<!DOCTYPE html>
<html>
/ # wget -O- --timeout 1 http://www.example.com
Connecting to www.example.com (93.184.216.34:80)
wget: download timed out
|
1
2
|
kubectl delete pod,service web
kubectl delete networkpolicy foo-deny-external-egress
|
4. 参考
- https://kubernetes.io/zh/docs/concepts/services-networking/network-policies/
- https://github.com/ahmetb/kubernetes-network-policy-recipes/