DevOps笔记 在 pve 中使用 LXC 创建 k3s

节点内核参数开启 bridge-nf-call-iptables

sysctl -w net.bridge.bridge-nf-call-iptables=1

这个主要是为了解决Service 同节点通信问题（启用 bridge-nf-call-iptables 这个内核参数 (置为 1)，表示 bridge 设备在二层转发时也去调用 iptables 配置的三层规则)）

关闭swap

sysctl vm.swappiness=0
swapoff -a

启用 IP 转发

echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf
sysctl --system

选择模板和存储

注意内存的 swap 置为 0

确认配置

返回宿主机修改 lxc 容器配置（/etc/pve/lxc/$ID.conf），这里 ID 如上图 vmid = 106

nano /etc/pve/lxc/106.conf

添加如下内容
lxc.apparmor.profile: unconfined
lxc.cgroup.devices.allow: a
lxc.cap.drop:
lxc.mount.auto: "proc:rw sys:rw"

容器配置

在 ect创建rc.local

touch /etc/rc.local

写入如下内容

nano /etc/rc.local

#!/bin/sh -e

# Kubeadm 1.15 needs /dev/kmsg to be there, but it's not in lxc, but we can just use /dev/console instead
# see: https://github.com/kubernetes-sigs/kind/issues/662
if [ ! -e /dev/kmsg ]; then
    ln -s /dev/console /dev/kmsg
fi

# https://medium.com/@kvaps/run-kubernetes-in-lxc-container-f04aa94b6c9c
mount --make-rshared /

赋予文件可执行权限

chmod +x /etc/rc.local

重启容器

先执行换源

nano /etc/apt/sources.list

内容如下

# deb http://archive.ubuntu.com/ubuntu kinetic main restricted universe multiverse

# deb http://archive.ubuntu.com/ubuntu kinetic-updates main restricted universe multiverse

# deb http://archive.ubuntu.com/ubuntu kinetic-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ kinetic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ kinetic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ kinetic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ kinetic-backports main restricted universe multiverse

然后更新

sudo apt update

执行安装脚本

curl -sLS https://get.k3sup.dev | sh

mv k3sup ~/bin/k3sup && chmod +x ~/bin/k3sup

k3sup install --ip $CONTAINER_IP --user root

或者使用官方脚本安装（注意这里不要使用默认版本，有可能不兼容 rancher，尽量使用前查阅支持的产品矩阵ranchermanager.docs.rancher.com/zh/versions…

curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION=v1.26.8+k3s1 sh -
k3s kubectl get node

获取集群令牌

cat /var/lib/rancher/k3s/server/node-token

在worker节点运行以下命令来设置 K3s 并加入现有集群:

curl -fsL https://get.k3s.io | INSTALL_K3S_VERSION=v1.26.8+k3s1 K3S_URL=https://:6443 K3S_TOKEN= sh -s - --node-name worker-0

测试

kubectl apply -f https://k8s.io/examples/service/load-balancer-example.yaml

启用外部访问

kubectl expose deployment hello-world --type=LoadBalancer --name=hl

查看地址和 ip

kubectl describe services hl

浏览器访问 http://192.168.31.110:8080

卸载

/usr/local/bin/k3s-uninstall.sh  # maser 执行
/usr/local/bin/k3s-agent-uninstall.sh  # Node 执行