基于 JuiceFS 的 KubeSphere DevOps 项目数据迁移方案

2023年 7月 9日 63.1k 0

方案背景和目的

KubeSphere 自发布以来已有 2 年之久,从 2.1.0 版本至目前最新版本 3.3。开发人员的编译构建都基于环境平台的 DevOps 功能(底层是 jenkins)实现,如果 DevOps 项目较多产生的流水线记录数据也会比较多,记录的数据存储方式默认是基于 Openebs 去做的,存储介质依赖于 ECS 宿主机 local 本地磁盘的风险是比较大的考虑到宿主机硬盘的不可靠性,随时会发生宕机导致流水线记录数据丢失造成严重影响。本教程经过本地研发平台测试通过了使用开源项目 juiceFS-CSI 且后端依托 OSS 作为后端存储实现数据迁移的检验。

前提条件:

  • 已经安装好 KubeSphere 平台(本教程使用 KubeSphere 3.2.1、K8s 版本 1.21.5)。安装方式请参考官网:https://kubesphere.com.cn/docs/v3.3/
  • 已经安装好 juiceFS-CSI 插件并且挂载好 OSS 后端、确认创建 PVC 时通过 SC 自动创建 PV 并绑定。
    安装方式请参考官网 : https://www.juicefs.com/docs/zh/community/introduction/
    (以上两者缺一不可)
  • 方案实施过程

    1. 找到 KubeSphere 平台的 Jenkins 使用的 PV

    2. 确认目前 Local 磁盘保存的 Jenkins 路径(在 node1 节点上)

    /var/openebs/local/pvc-2143c5a8-9593-4e2a-8eb5-2f3a0c98219a
    

    3. 下载 JuiceFS 客户端

    获取最新的版本号。

    $ JFS_LATEST_TAG=$(curl -s https://api.github.com/repos/juicedata/juicefs/releases/latest | grep 'tag_name' | cut -d '"' -f 4 | tr -d 'v')
    

    下载客户端到当前目录。

    $ wget "https://github.com/juicedata/juicefs/releases/download/v${JFS_LATEST_TAG}/juicefs-${JFS_LATEST_TAG}-linux-amd64.tar.gz"
    

    解压安装包。

    $ tar -zxf "juicefs-${JFS_LATEST_TAG}-linux-amd64.tar.gz"
    

    安装客户端。

    $ install juicefs /usr/local/bin
    

    挂载 JuiceFS。

    $ juicefs mount -d redis://10.233.106.62:6379/1 /mnt/jfs
    
    • redis:// 后面跟的是 Redis 服务的内网地址;
    • /mnt/jfs 是自定义的目录。

    4. 创建新的 PVC

    打开管理后台-找到【存储】--【存储卷】--【kubesphere-devops-system】打开【创建】

    通过 PVC 的名字在宿主机上查看创建结果

    5. 停止 DevOps 服务(至关重要的一步)

    找到 devops-jenkins 的服务将副本数降为 0。

    将 Local 本地对应的 devops-jenkins 的数据拷贝至刚才创建新的 PVC 里面(等待时间较长)。

    注意:拷贝的时候建议是写目录的绝对路径。

    $ cp -r /var/openebs/local/pvc-a2e60bcb-440e-4820-9330-921584bbabf3/* /mnt/jfs/pvc-bf8f2f7c-cfd1-45fd-94c8-39726aa364a5/
    

    确认数据已达到目的数据 PVC 后替换 devops-jenkins 数据参数将原有 PVC 解除绑定,绑定新的 PVC。

    找到原有的存储卷进行修改绑定。

    确认服务已正常启动。

    确认数据是否正确。

    $ df- h
    $ ls /挂载点
    

    验证

    创建一条新的流水线。

    友情提示

  • 目前此教程尚未经过生产环境验证,如在生产上使用请一定要做好备份在尝试以便及时回滚。
  • 迁移后的数据不支持直接从后端介质直接查看(比如后端是 OSS),因为数据都是打散的且保存方式以 JuiceFS 格式保存,要查看需要安装 JuiceFS 客户端或者直接进入 PVC 绑定的容器中。
  • kubesphere-GitHub 地址:https://github.com/kubesphere/kubesphere。
  • JuiceFS-GitHub 地址:https://github.com/juicedata/juicefs。
  • 相关文章

    KubeSphere 部署向量数据库 Milvus 实战指南
    探索 Kubernetes 持久化存储之 Longhorn 初窥门径
    征服 Docker 镜像访问限制!KubeSphere v3.4.1 成功部署全攻略
    那些年在 Terraform 上吃到的糖和踩过的坑
    无需 Kubernetes 测试 Kubernetes 网络实现
    Kubernetes v1.31 中的移除和主要变更

    发布评论