前言： 近期我们上了jenkins实现了代码的自动发布和app的自动打包，而且其中的一些实现也在我的博客总结了文章，各种文章前后顺序比较杂乱，就已文本作为相关持续集成文章的一个汇总。 下面是我用了一个下午时间画的一个关于持续集成的脑图，其实画完我不是很满意，感觉想表达的整个流程没有很好的表达出来，但是好在大部分的知识点感觉还是没啥问题的，就贴出来了供大家参考，如果有不同看法，可以通过右侧的qq和微

1.Sonar 介绍 Sonar 是一个用于管理代码质量的开源工具，可以分析代码中的bug和漏洞以及Code Smells，支持20多种编程语言的检测，如java，c/c++，python，php等语言，当前有超过85000家组织在使用sonar。Sonar可以与DevOps工具链完全整合，可以与大多数构建工具进行内置集成，与Jenkins，TFS / VSTS，TeamCity，Bamboo等持

前言 因为工作需求，有一批windows服务器需要管理，因为数量较多，所以研究了一下ansible自动化管理windows服务器，在此记录一下。 环境说明 ansible 服务器：centos 7.2 windows客户端：windows 7 ansible服务器配置 1、需要Python版本为2.7 2、安装pywinrm模块：ansible 通过windows 客户端启动的winrm端口进行管

前言 今天对公司对一个报警脚本进行改造，遇到了一个ES查询问题，在此进行记录，已做备忘。 报警脚本逻辑，通过查询es中对访问日志，判断微服务接口的错误信息和微服务接口响应延迟进行报警，报警内容包含48小时内此微服务的错误信息和响应延迟出现次数，供运维和研发判断重要性。 但是由于晚上服务器会跑一些计算数据，导致磁盘和网络IO进行大量占用，就会导致凌晨的一些响应延迟报警频发，对此我们设置了凌晨维护时间

需求 我们需要监控交换机warn以上级别的日志，只要有warn及以上级别的日志输入，就需要发送报警给运维，我们使用的监控平台是zabbix，所以监控就需要使用zabbix来实现，下面是配置方法，供各位参考。 交换机配置 交换机启动日志收集，配置日志信息发送到日志主机 info-center enable info-center source default channel 2 log state

k8s弹性伸缩涉及内容 在 Kubernetes 的生态中，在多个维度、多个层次提供了不同的组件来满足不同的伸缩场景。 有三种弹性伸缩 CA（Cluster Autoscaler）：Node级别自动扩/缩容cluster-autoscaler组件 HPA（Horizontal Pod Autoscaler）：Pod个数自动扩/缩容 VPA（Vertical Pod Autoscaler）：Pod配

简介 上一批文章写了，基于CPU指标的弹性伸缩，资源指标只包含CPU、内存，一般来说也够了。但如果想根据自定义指标:如请求qps/5xx错误数来实现HPA，就需要使用自定义指标了，目前比较成熟的实现是 Prometheus Custom Metrics。自定义指标由Prometheus来提供，再利用k8s-prometheus-adpater聚合到apiserver，实现和核心指标（metric-

前言 Flink 提供的Metrics可以在Flink 内部收集一些指标，通过这些指标可以让开发人员更好地理解作业或集群的状态。 但Flink 内置的Metrics更多的是查看任务的实时状态，要是想持久化这些指标，就需要借助于flink-metrics-prometheus，下面将展示一下prometheus监控flink的配置。 配置pushgateway Prometheus 在正常情况下是采

问题描述 K8S 集群，新安装了nginx服务器，但是访问80端口出来的服务不对，关闭nginx后，仍然可以访问服务器的80端口，但是本地80端口并没有任何服务监听。因为是K8S节点，所以怀疑是K8S上配置了转发规则导致。 解决办法 1、查看端口转发规则：K8S服务器上可能存在端口转发规则，将80端口的请求转发到了其他服务上。可以使用命令iptables -t nat -L -n来查看iptabl

1.简介 之前部署了flink operator，并将spark 作业提交到了k8s之上，但是也仅仅达到了能用的程度，距离生产落地还有一些内容需要调整。 2.Flink 作业日志持久化 当flink运行出错的时候，或者我们要分析flink运行状态的时候，运行日志是我们排查问题的重要依据。flink operator运行的flink 作业，默认情况下，日志文件只保存在pod容器中，随着容器的销毁，对

1.简介 大家都知道，Flink 是一个有状态的分布式流式计算引擎，flink 中的每个function或者是operator都可以是有状态的，为了使得状态可以容错，flink引入了checkpoint机制。checkpoint使得flink能够恢复作业的状态和位置，从而为作业提供与无故障执行相同的语义。 CheckPoint的触发和状态数据管理主要由JobManager负责，JobManager

1.简介 无论是我们自己开发的系统，还是各种中间件，高可用部署可以避免单点故障，是生产运行的必备要求。对于flink作业也一样，我们开发好的flink 作业，部署到生产环境，也需要高可用的方式来运行。 Flink的高可用，指的就是job manager的高可用，默认情况下，每个 Flink 集群只有一个 JobManager 实例。这会导致 单点故障：如果 JobManager 崩溃，则不能提交任

1.Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行（Flink集群关闭）之后，还可以查询已完成作业的统计信息。此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，JobManager 会将已经完成任务的统计信息进行存档，History Server 进程则在任务停止后可以对任务统计

1.简介 我们在实际使用flink的过程中，不仅使用java开发flink作业，同时也会直接使用flink SQL，通过编写SQL的方式，来实现flink作业。本文就基于Flink 官方提供的 Kubernetes Operator，来实现flink sql在k8s上的运行。 2.程序功能示意图 开发一个通用的flink sql运行程序，通过向程序的启动类传参的方式，将sql脚本的路径传给程序，然

1.简介 每一个微服务在部署以后，我们都需要对其进行监控、追踪、审计、控制等。 Spring Boot就提供了Actuator场景，使得我们的应用快速引用即可获得生产级别的应用监控、审计等功能。 Spring Boot Actuator是一个用于监控和管理Spring Boot应用程序的工具。它提供了一组RESTful端点，可以用于获取应用程序的健康状况、性能指标、日志信息等。 优点： 只需添加相

前言： nagios是目前比较流行的一款开源监控软件，主要通过强大的插件来实现各种监控需求，下面介绍一下简单的部署方法。 一、服务端安装主程序 1、先去下载nagios-cn-3.2.3.tar.bz2 [root@book tmp]# wget http://sourceforge.net/projects/nagios-cn/files/sourcecode/zh_CN%203.2.3/nag

  rsyslog：   rsyslog: 多线程； 支持UDP, TCP, SSL, TLS, RELP远程日志记录 rsyslog支持将日志记录在MySQL, PGSQL, Oracle等多种关系数据库中 rsyslog支持强大的过滤器，可实现过滤系统信息中的任意部分 自定义输出格式 适用于企业级别日志记录需求   对于日志产生速率非常快的，保存在数据库中是不明智的，可能会使用nosql，分布

前言： 学习zabbix之前，不得不了解的是SNMP协议 SNMP:简单网络管理协议（SimpleNetwork Protocol） Snmp由两部分组成，监控端和被监控端 监控模式： 主动模式：NMS向agent采集数据，监控端到被监控端采集数据 被动模式：agent到NMS报告数据，被监控端到监控端报告数据 这便意味着监控端和被监控端工作在不同套接字上 一旦被监控端发出特殊指令时，监控端会发送

参考 zabbix概述http://www.linuxea.com/index.php/archives/896.html Zabbix进程描述： Poller:此进程可能会被启动多个，应对更多请求 Httppoller：监控web页面专用poller Discoverer：发现进程 占用资源较大 Alerter：警报工作 Housekeeper：指明数据保存时间，清理数据 Watchdog：监控

一，环境准备1，安装lamp平台#yum -y install mysql-server mysql php php-mysql 2，创建库CREATE DATABASE zabbix CHARACTER SET utf8;3,授权主机GRANT ALL ON zabbix. TO 'zuser'@'ip' IDENTIFIED BY 'password';4,授权主机名GRANT ALL ON