使用 Ingres 访问 Dapr 应用-51CTO.COM

在上一篇文章中分享了分布式运行时 Dapr 的使用，在示例中将状态存储能力分离到 Dapr 运行时中，应用通过 Dapr API 来使用该能力。这篇文章将介绍如何通过 Ingress Controller（入口控制器）来访问 Dapr 应用。

方案

如何公开 Dapr 应用的访问，方案有两种：

像传统用法一样，配置应用的 Service 作为后端，由入口控制器直接将流量转发到应用容器，简单说就是支持自动配置的 L7 负载均衡器。
不直接访问应用容器，而是通过 Daprd 运行时来访问。这时，我们就需要将入口控制器也声明为 Dapr 应用，为其注入 Daprd 运行时容器。此时创建入口规则指向的后端，则是 Ingress 的 Dapr Service。

两种方案各有优劣，前者架构简单；后者虽然引入 Daprd 容器，架构复杂，消耗了更多的资源，但也因此可以使用 Dapr 的服务治理能力，如超时、重试、访问控制等等。

接下来我们将通过示例来分别验证两种方案。

演示

前置条件

helm
dapr cli

export INSTALL_K3S_VERSION=v1.23.8+k3s2
curl -sfL https://get.k3s.io | sh -s - --disable traefik --write-kubeconfig-mode 644 --write-kubeconfig ~/.kube/config

安装 Dapr

dapr init --kubernetes --wait

安装入口控制器

这里使用 Flomesh 的入口控制器。通过 valus.yaml 为入口控制器添加 dapr 相关的注解。这里需要注意由于默认情况下 Daprd 运行时监听的端口是绑定在回环地址上的，而 Ingress 向后端转发请求时使用的是 Pod IP，因此需要注解 dapr.io/sidecar-listen-addresses: "[::],0.0.0.0" 让 Daprd 运行时可以接收来自 Pod IP 的请求。

# values.yaml
fsm:
  ingress:
    podAnnotations:
      dapr.io/sidecar-listen-addresses: "[::],0.0.0.0"
      dapr.io/enabled: "true"
      dapr.io/app-id: "ingress"
      dapr.io/app-port: "8000"
      dapr.io/enable-api-logging: "true"
      dapr.io/config: "ingressconfig"

helm repo add fsm https://charts.flomesh.io
helm repo update

helm install \
  --namespace flomesh \
  --create-namespace \
  --versinotallow=0.2.1-alpha.3 \
  -f values.yaml \
  fsm fsm/fsm

部署示例应用

示例应用我们使用 kennethreitz/httpbin，为其添加 dapr 相关的注解。

kubectl create ns httpbin

kubectl apply -n httpbin -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: httpbin
  name: httpbin
spec:
  replicas: 1
  selector:
    matchLabels:
      app: httpbin
  strategy: {}
  template:
    metadata:
      annotations:
        dapr.io/enabled: "true"
        dapr.io/app-id: "httpbin"
        dapr.io/app-port: "80"
        dapr.io/enable-api-logging: "true"
        dapr.io/config: "httpbinconfig"
      labels:
        app: httpbin
    spec:
      containers:
      - image: kennethreitz/httpbin
        name: httpbin
        resources: {}
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: httpbin
  name: httpbin
  namespace: httpbin
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: httpbin
EOF

方案 1

参考 Flomesh Ingress 的文档[1]，创建入口规则使用 Service httpbin 作为后端。

kubectl apply -n httpbin -f - <<EOF
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: httpbin
  annotations:
    pipy.ingress.kubernetes.io/rewrite-target-from: ^/httpbin/?
    pipy.ingress.kubernetes.io/rewrite-target-to: /
spec:
  ingressClassName: pipy
  rules:
  - http:
      paths:
      - backend:
          service:
            name: httpbin
            port:
              number: 80
        path: /httpbin
        pathType: Prefix
EOF

使用主机 IP 地址和入口控制器的 80 端口来访问 /httpbin/get，由于上面配置了路径重写，最终请求 /get 将会被发送到目标 Pod。

curl HOST_IP:80/httpbin/get
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Connection": "keep-alive",
    "Content-Length": "0",
    "Host": "20.239.95.81:80",
    "User-Agent": "curl/7.86.0"
  },
  "origin": "10.42.0.18",
  "url": "http://20.239.95.81:80/get"
}

方案 2

方案 2 也同样需要配置入口规则，只是这次后端服务配置的入口控制器的 Dapr Service，通过 kubectl get svc -n flomesh 就可以找到名字带有 -dapr 后缀的 Service。

kubectl apply -n flomesh -f - <<EOF
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: dapr
  annotations:
    pipy.ingress.kubernetes.io/rewrite-target-from: ^/dapr/?
    pipy.ingress.kubernetes.io/rewrite-target-to: /
spec:
  ingressClassName: pipy
  rules:
  - http:
      paths:
      - backend:
          service:
            name: ingress-dapr
            port:
              number: 80
        path: /dapr
        pathType: Prefix
EOF

仍然是访问 httpbin 的路径 /get，但是访问方式要遵循 Dapr 服务调用的 API[2]：通过请求头指定 dapr-app-id 为 httpbin.httpbin。由于入口控制器和目标应用不在同一命名空间下，在应用 id 需要带上其命名空间。

同样是成功返回，但是可以看到最终应用收到请求头部会多了一些信息，这些信息都是来自 Daprd 运行时，比如 Dapr-Caller-App-Id、"Dapr-Callee-App-Id 标识表示请求的发起方和接收方；Forwarded 标识了发起请求的主机名。如果开启了 tracing，还会有链路相关的信息（本示例中并未开启）。

curl HOST_IP:80/dapr/get -H 'dapr-app-id:httpbin.httpbin'
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip",
    "Connection": "keep-alive",
    "Dapr-App-Id": "httpbin.httpbin",
    "Dapr-Callee-App-Id": "httpbin",
    "Dapr-Caller-App-Id": "ingress",
    "Forwarded": "for=10.42.0.18;by=10.42.0.18;host=fsm-ingress-pipy-864d8d9c76-4kb7r",
    "Host": "127.0.0.1:80",
    "Proto": "HTTP/1.1",
    "Protomajor": "1",
    "Protominor": "1",
    "Referer": "",
    "Traceparent": "00-00000000000000000000000000000000-0000000000000000-00",
    "User-Agent": "curl/7.86.0",
    "X-Forwarded-Host": "fsm-ingress-pipy-864d8d9c76-4kb7r"
  },
  "origin": "10.42.0.18",
  "url": "http://fsm-ingress-pipy-864d8d9c76-4kb7r/get"
}

访问控制

文章开头提到使用方案 2 虽然带来了延迟增加了复杂度，但是可以使用 Dapr 的服务治理能力。这里以 Dapr 的访问控制功能[3] 为例。

不知道大家注意到没，在部署入口控制器和示例应用时，有个注解 dapr.io/config: xxx。这个注解是为应用的 Daprd 运行时指定配置，运行时启动时会从名为 xxx 的 Configuration 资源读取配置。

执行下面的命令为 httpbin 应用设置访问控制规则：默认拒绝所有请求，只允许 flomesh 命名空间下的 id 为 ingress 的应用通过 GET 方式访问路径 /get。更多访问控制配置，可以参考 Dapr 访问控制官方文档[4]。

kubectl apply -n httpbin -f - <<EOF
apiVersion: dapr.io/v1alpha1
kind: Configuration
metadata:
  name: httpbinconfig
spec:
  accessControl:
    defaultAction: deny
    trustDomain: "public"
    policies:
    - appId: ingress
      defaultAction: deny
      trustDomain: 'public'
      namespace: "flomesh"
      operations:
      - name: /get
        httpVerb: ['GET']
        action: allow
EOF

应用配置之后，需要重启应用。

kubectl rollout restart deploy httpbin -n httpbin

等到重启完成，再访问 /get 路径，正常响应。

curl HOST_IP:80/dapr/get -H 'dapr-app-id:httpbin.httpbin'
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip",
    "Connection": "keep-alive",
    "Dapr-App-Id": "httpbin.httpbin",
    "Dapr-Callee-App-Id": "httpbin",
    "Dapr-Caller-App-Id": "ingress",
    "Forwarded": "for=10.42.0.40;by=10.42.0.40;host=fsm-ingress-pipy-864d8d9c76-jctcx",
    "Host": "127.0.0.1:80",
    "Proto": "HTTP/1.1",
    "Protomajor": "1",
    "Protominor": "1",
    "Referer": "",
    "Traceparent": "00-00000000000000000000000000000000-0000000000000000-00",
    "User-Agent": "curl/7.86.0",
    "X-Forwarded-Host": "fsm-ingress-pipy-864d8d9c76-jctcx"
  },
  "origin": "10.42.0.40",
  "url": "http://fsm-ingress-pipy-864d8d9c76-jctcx/get"
}

但是，如果是访问路径 /headers，会收到下面的响应：被禁止访问 /headers。

curl HOST_IP:80/dapr/headers -H 'dapr-app-id:httpbin.httpbin'
{
  "errorCode": "ERR_DIRECT_INVOKE",
  "message": "fail to invoke, id: httpbin.httpbin, err: rpc error: code = PermissionDenied desc = access control policy has denied access to appid: ingress operation: headers verb: GET"
}

总结

文中使用的两种入口方案各有优缺点，方案 1 架构简单，也是我们常用的方案；方案 2 中相当于将入口控制器声明为 Dapr 应用，实际上暴露的是 Dapr 的 API，在实现上更像是一个全局的应用运行时。

参考资料

[1] 文档: https://fsm-docs.flomesh.io/docs/demos/ingress_basics

[2] Dapr 服务调用的 API: https://docs.dapr.io/developing-applications/building-blocks/service-invocation/howto-invoke-discover-services/

[3] Dapr 的访问控制功能: https://docs.dapr.io/operations/configuration/invoke-allowlist/

[4] Dapr 访问控制官方文档: https://docs.dapr.io/operations/configuration/invoke-allowlist/