kubernetes1.4新特性：支持sysctl命令

云运维 2023-07-10 穿过生命散发芬芳 手机阅读

背景介绍

sysctl是一个允许改变正在运行中的Linux系统内核参数的接口。可以通过sysctl修改Linux系统内核中的TCP/IP 堆栈和虚拟内存系统的高级选项，而且不需要重新启动Linux系统，就可以实现优化Linux系统和提高应用进程运行性能。

通过Linux系统中的/proc虚拟文件系统来实现动态配置Linux系统内核参数，在/proc/sys目录下有Linux系统绝大多数的内核参数，这些内核参数可以在Linux系统运行时进行修改，并且不需要重新启动Linux系统便可以立刻生效，但是这种修改在重新启动Linux系统后便会失效，要是想永久生效的话，需要更改配置文件/etc/sysctl.conf中相应的内核参数配置项。

可以通过下面命令获取sysctl可以操作的所有内核参数配置项和已经配置的数值：

# sysctl –a

这些内核参数主要包括下面几类配置项：

  • 全局内核配置项：以“kernel.”为配置项前缀，举例：
  • kernel.shmmax = 33554432（共享内存段的最大尺寸，以字节为单位）
  • kernel.threads-max = 139264（Linux内核所能使用的线程最大数量）
    • 网络配置项：以“net.”为配置项前缀，举例：
  • net.ipv4.ipfrag_low_thresh = 196608（用于IP分片汇聚的最小内存用量）
  • net.ipv4.ipfrag_high_thresh = 262144（用于IP分片汇聚的最大内存用量）
    • 虚拟内存配置项：以“vm.”为配置项前缀，举例：
  • vm.swappiness = 60（减少系统对于swap频繁的写入，将加快应用程序之间的切换，有助于提升系统性能）
  • vm.dirty_ratio = 40（该文件表示如果进程产生的废数据到达系统整体内存的百分比，此时进程自信把废数据写回磁盘）
    • 设备专用配置项：以“dev.”为配置项前缀，举例：
  • dev.raid.speed_limit_max = 200000（需要初始化同步RAID的同步最大速度限制）
  • dev.raid.speed_limit_min = 1000（需要初始化同步RAID的同步最小速度限制）
    • 文件系统专用配置项：以“fs.”为配置项前缀
  • fs.file-max = 779703（可以分配的文件句柄的最大数目）
  • fs.file-nr = 3930 0 779703（已分配文件句柄的数目，已使用文件句柄的数目，文件句柄的最大数目，该文件是只读的，仅用于显示信息）

    • 容器相关内核参数

    上面介绍了通过sysctl可以操作Linux系统内核参数，在这些内核参数中，有些不但是操作系统全局级别的内核参数，还是命名空间级别的内核参数。对于容器来说，是通过命名空间实现隔离的，那么就意味着这些命名空间级别的参数是容器相关的内核参数。

    Linux系统命名空间的分类如下：

    命名空间级别的内核参数包括：

    • kernel.shm*（内核中共享内存相关参数），举例：
  • kernel.shmall = 3774873（可以使用的共享内存的总量）
  • kernel.shmmax = 15461882265（单个共享内存段的最大值）
    • kernel.msg*（内核中SystemV消息队列相关参数）
  • kernel.msgmnb = 16384（每个消息队列的最大字节限制）
  • kernel.msgmni = 128（同时运行的最大的消息队列个数）
    • kernel.sem（内核中信号量参数）
  • kernel.sem = 250 32000 100 128（每个信号集中的最大信号量数目、系统范围内的最大信号量总数目、每个信号发生时的最大系统操作数目、系统范围内的最大信号集总数目）
    • fs.mqueue.*（内核中POSIX消息队列相关参数）
  • fs.mqueue. msg_max = 32678（队列里缓存的软最大消息数目）
  • fs.mqueue. msgsize_max = 8192（最大消息长度上限）
    • net.*（内核中网络配置项相关参数）
  • net.ipv4.ipfrag_low_thresh = 196608（用于IP分片汇聚的最小内存用量）
  • net.ipv4.ipfrag_high_thresh = 262144（用于IP分片汇聚的最大内存用量）

    • 新特性

    因为sysctl可以修改命名空间级别的内核参数，所以在Kubernetes1.4中通过sysctl来配置POD中Linux内核参数的功能，通过修改POD中Linux内核参数，可以优化POD性能，提升POD中容器运行效率。在Kubernetes1.4中这还是一个阿尔法特性。

    修改Linux内核参数存在安全风险，修改错误很可能会降低系统性能，甚至会引起系统崩溃，所以需要谨慎对待。在Kubernetes1.4中将命名空间级别的内核参数分成了两类，一类是安全的内核参数，一类是不安全的内核参数。所谓安全的命名空间级别内核参数，就是要能够实现相同节点上不同POD之间的完全隔离，要满足如下条件：

  • 不能对相同节点上其他POD产生任何影响
  • 不能对节点上操作系统健康造成影响
  • 不能在POD资源限制以外获取更多的CPU和内存资源

    • 根据上面三个条件可以发现，大多数的命名空间级别内核参数都不是安全的。在Kubernetes1.4中，认为下面的命名空间级别内核参数是安全的：

  • kernel.shm_rmid_forced = 1（表示是否强制将共享内存和一个进程联系在一起，这样的话可以通过杀死进程来释放共享内存）
  • net.ipv4.ip_local_port_range =1024 65000（表示允许使用的端口范围）
  • net.ipv4.tcp_syncookies = 1（表示是否打开TCP同步标签，同步标签可以防止一个套接字在有过多试图连接时引起过载）

    • 在Kubernetes以后的版本中，还会继续扩充安全的命名空间级别内核参数。在Kubernetes中，所有安全的命名空间级别内核参数默认都是启用状态的，所有不安全的命名空间级别内核参数默认都是禁用状态的，如果想设置不安全的内核参数，需要Kubernetes管理员手工启用。如果管理员没有手工启用不安全的内核参数，那么Kubernetes仍然会进行调度，将这些带有不安全内核参数的POD分配到节点上，但是这些POD在启动时会失败。

    在启动kubelet时通过增加参数“experimental-allowed-unsafe-sysctls”来启用不安全的命名空间级别内核参数：

    可以在POD配置文件中设置已经被启用的命名空间级别内核参数：

    上面的配置文件在POD中设置了安全的命名空间级内核参数：kernel.shm_rmid_forced，并且在POD中设置了两个不安全的命名空间级内核参数：net.ipv4.route.min_pmte和kernet.msgmax。

    在annotations中的“security.alpha.kubernetes.io/sysctls”参数上设置安全的命名空间级内核参数，在annotations中的“security.alpha.kubernetes.io/unsafe-sysctls”参数上设置不安全的命名空间级内核参数。