【AI 充电KServe + Fluid 加速大模型推理

作者：黄驰琳、露营、车漾

背景

KServe 是 Kubernetes 上的标准模型推理平台，专为高度可扩展的场景而构建，支持现代 Serverless 推理工作负载，用于在任意框架上提供机器学习（ML）模型服务。它提供高性能、高度抽象的接口，以支持常见的 ML 框架（如Tensorflow、XGBoost、Scikit-Learn、PyTorch 和 ONNX）来解决生产模型服务场景。此外，KServe 封装了自动缩放、网络、健康检查和服务配置的复杂性，支持GPU 自动缩放、归零缩放和金丝雀发布等。为生产级别机器学习服务提供了一个简单、可插拔且完整的支持，包括预测、预处理、后处理和可解释性的能力。

人工智能生成内容（AIGC）和大型语言模型（LLM）在近一年内方兴未艾，进一步提升了了大众对 AI 的期望值。为了能够产生新的业务价值，越来越多的公司开始使用 KServe 来部署它们，主要原因是：

但是在生产实践中，KServe 对于大型语言模型（LLMs）的支持依然有不小的挑战。主要问题在于：

KServe 在 Kubecon 2023 就提到了 Fluid 有可能帮助解决其在弹性上遇到的问题。Fluid 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用、AI 应用等。参见数据加速 Fluid 概述 [ 1] 。

阿里云容器服务团队和 KServe，Fluid 社区的小伙伴一起探索在阿里云 Serverless Kubernetes 平台上简单，方便，高性能，生产级别的支持大型语言模型（LLMs）:

一切就绪，我们一起开启阿里云 Kubernetes(ACK) 中 KServe 推理大模型之旅：

实践步骤

前提条件

• 已创建 ACK 集群，集群的 Kubernetes 版本 ≥1.18，具体操作，请参见创建 Kubernetes 托管版集群 [ 2] 。

📌 本演示使用的 ACK 集群包含 3 个 ecs.g7.xlarge 规格的 ecs 和 1 个 ecs.g7.2xlarge 规格的 ecs。您可以在创建时选择添加 3 个 ecs.g7.xlarge 规格的 ecs，待集群创建完成后新建一个节点池以增加一个 1 个 ecs.g7.2xlarge 规格的 ecs，关于创建节点池的具体操作请参考创建节点池 [ 3] 。

• 已创建 v1.17 及以上版本的 ASM 实例，并已将上述 ACK 集群添加到该实例中。具体操作，请参见创建 ASM 实例 [ 4] 和添加集群到 ASM 实例 [ 5] 。

您可以使用上述配置来创建阿里云服务网格 ASM 实例，其中：

• 实例规格需要选择企业版（以启用数据面集群 KubeAPI 访问 Istio 资源能力）
• Istio 版本需要选择 v1.17 及以上
• 网格的地域、专有网络需要与创建的 Kubernetes 集群保持一致，以保证网络畅通
• 可以视需求选择是否勾选 “使用 EIP 暴露 API Server”，开启后将为内网 SLB 实例创建并绑定一个 EIP，您将可以从公网访问 ASM 实例的 API Server，并操作 Istio CR
• 可观测性及网格审计部分依赖日志服务和阿里云 Prometheus 监控服务，若依赖服务尚未开通，在创建时您可以不勾选
• 【重要】必须勾选启用数据面集群 KubeAPI 访问 Istio 资源。
• 集群本地域名需要与您的 Kubernetes 集群的本地域名保持一致。
• ASM 实例已经开启通过数据面集群 KubeAPI 访问 Istio 资源能力。具体操作，参考：通过数据面集群 KubeAPI 访问 Istio 资源 [ 6] 。
• 已为集群添加入口网关。本实例使用 ASM 入口网关作为集群网关，ASM 入口网关名称为默认的 ingressgateway，开放端口 80 和 443。具体操作，请参见创建入口网关服务 [ 7] 。
• 已在 ACK 或 ASK 集群中部署 Knative Serving 组件，并开启 Knative on ASM 功能。具体操作，参考：使用 Knative on ASM 部署 Serveless 应用 [ 8] 中的前提及步骤一。

步骤一：开启 KServe on ASM 功能

📌 说明：KServe on ASM 功能依赖 cert-manager 组件的部署与使用。cert-manager 是一个证书生命周期管理系统，支持证书的申请、部署等功能。如果您没有在集群中安装 cert-manager，您需要在 KServe on ASM 页面开启 在集群中自动安装 CertManager 组件，以自动为您安装 cert-manager；否则您需要关闭此项，再单击启用 KServe on ASM。

步骤二：安装 ACK-Fluid 并开启 AI 模型缓存加速

📌 说明：如果您的数据面集群为 ACK 集群，您需要在 ACK 集群中安装云原生AI套件并部署 ack-fluid 组件。参考：加速在线应用数据访问 [ 10] 。

如果您的数据面集群为 ASK 集群，您需要在 ASK 集群中部署 ack-fluid 组件。参考：加速 Job 应用数据访问 [1****1] 。

a. 准备训练好的 AI 模型保存数据。本文以基于 pytorch 的开源 transformer 大语言模型 bloom 为例，可以在 hugging face 社区中获取模型数据：huggingface.co/bigscience/…

b. 将下载的模型数据文件上传至 OSS Bucket，并记录模型数据文件的保存位置。模型数据文件的保存位置格式为 oss://{bucket}/{path}。例如，如果您创建了名为 fluid-demo 的 bucket，并在 bucket 中的 models/bloom 目录中上传了所有的模型数据文件，则模型数据文件的保存位置为 oss://fluid-demo/models/bloom

📌 说明：您可以通过 OSS 提供的客户端工具 ossutil 上传数据。具体操作，请参见安装 ossutil [ 12] 。

a. 使用 kubectl 连接到数据面 ACK/ASK 集群。具体操作，参考：通过 kubectl 连接 Kubernetes 集群 [ 13] 。

b. 使用 kubectl 创建命名空间，以部署 Fluid 及 KServe AI 服务。本文以 kserve-fluid-demo 命名空间为例。

kubectl create ns kserve-fluid-demo

c. 使用 kubectl 为命名空间添加 eci 标签，以将命名空间中的 Pod 调度到虚拟节点上。

kubectl label namespace kserve-fluid-demo alibabacloud.com/eci=true

d. 使用以下内容，创建 oss-secret.yaml 文件。其中 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 分别代表可以访问 OSS 的 accessKeyId 和 accessKeySecret。

apiVersion: v1
kind: Secret
metadata:
  name: access-key
stringData:
  fs.oss.accessKeyId: xxx #替换为可以访问OSS的阿里云accessKeyId
  fs.oss.accessKeySecret: xxx #替换为可以访问OSSd的阿里云accessKeySecret

e. 执行以下命令，部署 Secret，配置 OSS 访问秘钥。

kubectl apply -f oss-secret.yaml -n kserve-fluid-demo

a. 使用以下内容，保存为 oss-jindo.yaml 文件。

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: oss-data
spec:
  mounts:
  - mountPoint: "oss://{bucket}/{path}" # 需要替换为模型数据文件的保存位置
    name: bloom-560m
    path: /bloom-560m
    options:
      fs.oss.endpoint: "{endpoint}"  # 需要替换为实际的OSS endpoint地址
    encryptOptions:
      - name: fs.oss.accessKeyId
        valueFrom:
          secretKeyRef:
            name: access-key
            key: fs.oss.accessKeyId
      - name: fs.oss.accessKeySecret
        valueFrom:
          secretKeyRef:
            name: access-key
            key: fs.oss.accessKeySecret
  accessModes:
    - ReadOnlyMany
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: oss-data
spec:
  replicas: 2
  tieredstore:
    levels:
      - mediumtype: SSD
        volumeType: emptyDir
        path: /mnt/ssd0/cache
        quota: 50Gi
        high: "0.95"
        low: "0.7"
  fuse:
    args:
      - -ometrics_port=-1
  master:
    nodeSelector:
      node.kubernetes.io/instance-type: ecs.g7.xlarge
  worker:
    nodeSelector:
      node.kubernetes.io/instance-type: ecs.g7.xlarge

📌 说明：您需要将 Dataset CR 中的 oss://{bucket}/{path} 替换为上文中记录的模型数据文件的保存位置。将 Dataset CR 中的 {endpoint}替换为 OSS 的访问域名。如何获取不同地域 OSS 的访问域名，参考：访问域名和数据中心 [ 14] 。

a. 执行以下命令，部署 Dataset 和 JindoRuntime CR。

kubectl create -f oss-jindo.yaml -n kserve-fluid-demo

b. 执行以下命令，查看 Dataset 和 JindoRuntime 的部署情况。

kubectl get jindoruntime,dataset -n kserve-fluid-demo

预期输出：

NAME                                  MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
jindoruntime.data.fluid.io/oss-data   Ready          Ready          Ready        3m

NAME                             UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
dataset.data.fluid.io/oss-data   3.14GiB          0.00B    100.00GiB        0.0%                Bound   3m

由预期输出中得到，Dataset 的 PHASE为Bound，JindoRuntime 的 FUSE PHASE 为 Ready，代表 Dataset 和 JindoRuntime 都部署成功。

a. 使用以下内容，保存为 oss-dataload.yaml。

apiVersion: data.fluid.io/v1alpha1
kind: DataLoad
metadata:
  name: oss-dataload
spec:
  dataset:
    name: oss-data
    namespace: kserve-fluid-demo
  target:
    - path: /bloom-560m
      replicas: 2

b. 执行以下命令，部署 Dataload 以预热数据。

kubectl create -f oss-dataload.yaml -n kserve-fluid-demo

c. 执行以下命令，查看数据预热的进度。

kubectl get dataload -n kserve-fluid-demo

预期输出：

NAME           DATASET    PHASE      AGE     DURATIONoss-dataload
oss-data   Complete   1m      45s

由预期输出得到，数据预热耗时约 45s。需要等待一段时间才能使得数据预热完成。

步骤三：部署 AI 模型推理服务

apiVersion: "serving.kserve.io/v1beta1"
kind: "InferenceService"
metadata:
  name: "fluid-bloom"
spec:
  predictor:
    timeout: 600
    minReplicas: 0
    nodeSelector:
      node.kubernetes.io/instance-type: ecs.g7.2xlarge
    containers:
      - name: kserve-container
        image: cheyang/kserve-fluid:bloom-gpu
        resources:
          limits:
            cpu: "3"
            memory: 8Gi
          requests:
            cpu: "3"
            memory: 8Gi
        env:
          - name: STORAGE_URI
            value: "pvc://oss-data/bloom-560m"
          - name: MODEL_NAME
            value: "bloom"
            # 如果使用GPU则设置成True，否则设置为False
          - name: GPU_ENABLED
            value: "False"

📌 说明：本例中的 InferenceService 配置中在 image 字段使用了 cheyang/kserve-fluid:bloom-gpu 示例镜像，该镜像提供加载模型及推理服务的接口，您可以在 KServe 开源社区中找到此示例镜像的代码，并进行镜像自定义：github.com/kserve/kser…

kubectl create -f oss-fluid-isvc.yaml -n kserve-fluid-demo

kubectl get inferenceservice -n kserve-fluid-demo

预期输出：

NAME          URL                                                
READY   PREV   LATEST   PREVROLLEDOUTREVISION   LATESTREADYREVISION           AGEfluid-bloom   http://fluid-bloom.kserve-fluid-demo.example.com   True           100                              fluid-bloom-predictor-00001   2d

由预期输出可以看到 READY 字段为 True，证明 AI 模型推理服务已经部署成功。

步骤四：访问 AI 模型推理服务

a. 登录 ASM 控制台，在左侧导航栏，选择服务网格 > 网格管理。

b. 在网格管理页面，单击目标实例名称，然后在左侧导航栏，选择 ASM 网关 > 入口网关。

c. 在入口网关页面找到名为 ingressgateway 的 ASM 入口网关，在服务地址区域，查看并获取 ASM 网关服务地址。

执行以下命令，访问示例 AI 模型推理服务 bloom，将其中的 ASM 网关服务地址替换为上文中获取的 ASM 入口网关地址。

curl -v -H "Content-Type: application/json" -H "Host: fluid-bloom.kserve-fluid-demo.example.com" "http://{ASM网关服务地址}:80/v1/models/bloom:predict" -d '{"prompt": "It was a dark and stormy night", "result_length": 50}'

预期输出：

*   Trying xxx.xx.xx.xx :80...

* Connected to xxx.xx.xx.xx  (xxx.xx.xx.xx ) port 80 (#0)

> POST /v1/models/bloom:predict HTTP/1.1

> Host: fluid-bloom-predictor.kserve-fluid-demo.example.com

> User-Agent: curl/7.84.0

> Accept: */*

> Content-Type: application/json

> Content-Length: 65

>

* Mark bundle as not supporting multiuse