学习 etcd 存储的第一步,从 Etcd 框架和 Put 操作源码说起(详细版) etcd 是一个分布式、高可用的键值存储系统,它被设计为可靠的、安全的、快速的,并具有简单的API。 etcd 使用 Go 语言开发,基于 Raft 算法实现了分布式一致性。它可以用于存储集群中的关键配置信息、服务发现、锁等。 etcd 的数据模型类似于一个简单的文件系统,支持 PUT、GET、DELETE 等操作,每个节点的数据会自动同步到其他节点上,因此可以实现高可用、自动故障转移等功能。et 开发运维 2023-07-13 向阳逐梦
彻底搞懂 etcd 系列文章(一):初识 etcd 作者介绍:aoho,一线码农,对云原生、微服务、Go 语言、容器化感兴趣,并做了深入研究。闲暇时间会分享一些技术思考和实践,与大家讨论交流,共同进步。 0 专辑概述 etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册于发现,还可以作为 key-value 存储的中间件。 《彻底搞懂 etcd 系列文章》将会从 et 云运维 2023-07-10 宇宙之一粟
彻底搞懂 Kubernetes 中的认证 前言 本文首先介绍了K8s的访问控制过程,并对K8s认证的用户模型进行讲解。最后对认证过程中的用户证书认证以及Service Account Token认证进行举例剖析。 K8s API请求访问控制的过程 我们知道,不论是通过kubectl客户端还是REST请求访问K8s集群,最终都需要经过API Server来进行资源的操作,生效结果会被持久化至etcd中,etcd中的数据安全就变得十分重要。为 云运维 2023-07-10 大猫
离线安装 k8s 1.5 高可用集群 经常遇到全新初始安装k8s集群的问题,所以想着搞成离线模式,本着最小依赖原则,采用纯shell脚本编写 基于Centos7-1503-minimal运行脚本测试OK, 默认安装docker1.12.3 etcd-v3.0.15 k8s-v1.5.1 本离线安装所有的依赖都打包放到了百度网盘,不放心安全的,可自行打包替换,就是些镜像tar包和rpms 简要说明 基于kubeadm搭建的kuberne 云运维 2023-07-09 醒在深海的猫
Kubernetes v1.10+Keepalived HA集群墙内部署实践 [root@d1 ~]# systemctl start etcd Job for etcd.service failed because a timeout was exceeded. See systemctl status etcd.service and journalctl -xe for details. [root@d1 ~]# netstat -ntlp Active Intern 云运维 2023-07-09 大猫
纯手工搭建k8s集群(二)核心模块部署 1. 部署ETCD(主节点) 1.1 简介 kubernetes需要存储很多东西,像它本身的节点信息,组件信息,还有通过kubernetes运行的pod,deployment,service等等。都需要持久化。etcd就是它的数据中心。生产环境中为了保证数据中心的高可用和数据的一致性,一般会部署最少三个节点。我们这里以学习为主就只在主节点部署一个实例。 如果你的环境已经有了etcd服务(不管是单点 云运维 2023-07-09 向阳逐梦
kubeadm安装Kubernetes V1.10集群详细文档 作者:xiaotian45123 1:服务器信息以及节点介绍 系统信息:centos1708 minimal 只修改IP地址 主机名称 IP 备注 node01 192.168.150.181 master and etcd rode02 192.168.150.182 master and etcd node03 192.168.150.183 master and etcd node04 云运维 2023-07-09 穿过生命散发芬芳
etcd管理指南,证书配置,节点扩容,迁移恢复等 广告 | kubernetes各版本离线安装包 etcd 证书配置 生产环境中给etcd配置证书相当重要,如果没有证书,那么k8s集群很容易被黑客利用而去挖矿什么的。做法非常简单,比如你下了一个不安全的镜像,通过程序扫描到etcd的ip和端口,那么黑客就可以绕开apiserver的认证直接写数据,写一些deployment pod等等,apiserver就会读到这些,从而去部署黑客的程序。 我们就 云运维 2023-07-09 泡泡
从零开始入门 K8s | 手把手带你理解 etcd 作者 | 曾凡松(逐灵) 阿里云容器平台高级技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 16 讲。 导读:etcd 是用于共享配置和服务发现的分布式、一致性的 KV 存储系统。本文从 etcd 项目发展所经历的几个重要时刻开始,为大家介绍了 etcd 的总体架构及其设计中的基本原理。希望能够帮助大家更好的理解和使用 etcd。 一、etcd 项目的发展历程 etcd 云运维 2023-07-09 张二河
从零开始入门 K8s | etcd 性能优化实践 作者 | 陈星宇(宇慕) 阿里云基础技术中台技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 17 讲。 导读:etcd 是容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色,接受了 双11 大压力的检验。本文作者从 etcd 性能背景出发,带领我们了解了 etcd server 端性能优化及 云运维 2023-07-09 法医
图解kubernetes中etcd增删改查的工业实现 etcd中的数据写入是基于leader单点写入和集群quorum机制实现的,并不是一个强一致性的数据写入,则如果如果我们访问的节点不存在quorum的半数节点内,则可能造成短暂的数据不一致,针对一些强一致的场景,我们可以通过其revision机制来进行数据的读取, 保证我们读取到更新之后的数据 云运维 2023-07-09 醒在深海的猫
etcd 集群运维实践 你好,请教一下。我的服务器异常关机,导致etcd集群无法启动。三个节点的报错都是快照文件不存在,没有做过备份,要怎么处理呢? 环境: CentOS Linux release 7.4.1708 (Core) etcd Version: 3.3.10 报错日志: Mar 05 11:01:05 k8s01.test systemd[1]: Starting Etcd Server… Mar 05 1 云运维 2023-07-09 贤蛋大眼萌
更强、更稳、更高效:解读 etcd 技术升级的三驾马车 本文节选自《不一样的 双11 技术:阿里巴巴经济体云原生实践》一书。 作者 | 陈星宇(宇慕)阿里云基础技术中台技术专家 导读:etcd 是阿里巴巴内部容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色,接受了 双11 大压力的检验。为了让更多同学了解到 etcd 的最佳实践和阿里巴巴内部的使用经验,本文作者将和大家分享 云运维 2023-07-09 法医
etcd 问题、调优、监控 etcd 原理解析:读《etcd 技术内幕》这篇文章主要是原理性的内容,本文主要是实践角度,谈谈平时用到的一些操作和监控 高可用 etcd 是基于 raft算法的分布式键值数据库,生来就为集群化而设计的,由于Raft算法在做决策时需要超半数节点的投票,所以etcd集群一般推荐奇数节点,如3、5或者7个节点构成一个集群。 以上是etcd集群部署的基础概念,但是还需要注意以下问题: 选主过程 etcd 云运维 2023-07-09 LOVEHL^ˇ^
万级 K8s 集群背后 etcd 稳定性及性能优化实践 1背景与挑战 随着腾讯自研上云及公有云用户的迅速增长,一方面,腾讯云容器服务TKE服务数量和核数大幅增长, 另一方面我们提供的容器服务类型(TKE托管及独立集群、EKS弹性集群、edge边缘计算集群、mesh服务网格、serverless knative)也越来越丰富。各类容器服务类型背后的核心都是K8s,K8s核心的存储etcd又统一由我们基于K8s构建的etcd平台进行管理。基于它我们目前管理 云运维 2023-07-09 Escape
k8s高可用部署:keepalived + haproxy 最近依照网上不少文章部署K8s高可用集群,遇到了一些麻烦,在这里记录下来。 关键问题 根据K8s官方文档将HA拓扑分为两种,Stacked etcd topology(堆叠ETCD)和External etcd topology(外部ETCD)。 https://kubernetes.cn/docs/setup/production-environment/tools/kubeadm/ha-top 云运维 2023-07-09 三掌柜
在 KubeSphere 中监控集群外部 Etcd 查找官方论坛,关键词使用 Etcd 找到了以下一篇看着比较接近的文档,打开来看看。 Etcd 使用自签名证书,prometheus 报错未知机构签发 #2.11 但是文档里并没有详细的问题解决过程,看的我是一头雾水,但是获得了很重要的配置步骤。 根据上面 get 到的关键点 1,用外部 Etcd 的证书生成 secret。 这条命令就是为了根据 Etcd 的 cert 生成一个 secret 配置 云运维 2023-07-09 剑圣无痕
Prometheus Operator 监控ETCD集群 现在我们需要自定义Prometheus operator,这里以监控ETCD为例。由于我们的etcd是跑在kubernetes外部的,想要监控到,本文章主要介绍k8s二进制安装监控etcd,由于是二进制安装我们需要手动的创建Endpoints以及Service。 除了prometheus operator自带的资源对象,节点以及组件监控,有的时候实际的业务场景需要我们自定义监控项 确保有metri 自动化运维 2023-05-04 贤蛋大眼萌
CentOS 7 ETCD集群配置大全 本次环境,是用于k8s集群中的etcd,由于二进制文档对etcd并没有进行详细的介绍安装配置,故抽出时间进行etcd集群深入总结。本次主要是针对etcd静态发现和DNS动态发现两种,并结合自签的TLS证书来创建集群。 前言 Etcd 是 CoreOS 基于 Raft 开发的分布式 key-value 存储,可用于服务发现、共享配置以及一致性保障(如数据库选主、分布式锁等) 本次环境,是用于k8s集 云运维 2023-05-04 大白菜程序猿
如何修复重装系统后的 Kubernetes Master 节点 最近碰到两次,因故障需要重装主机系统。其中一次 Etcd 只剩下一个节点,导致整个集群宕机半个小时才恢复。本篇主要记录的是新系统 Ubuntu 20.04 初始化的过程,完成初始化之后采用优秀的集群安装工具 Kubekey 的 add nodes 命令,无需修改配置文件,一键就将节点重新加入了集群。 1. 恢复 Etcd 三个节点的 Etcd 集群,只有一个节点运行是无法工作的。因此,务必首先修复 云运维 2023-04-13 共饮一杯