几种简单的任务调度方案实现 场景 我们在实际开发过程中,有没有遇到这样的场景:用户会提交一些耗时且资源占用较高的任务,比如音视频处理、数据计算、数据处理等,这些任务都需要大量的计算资源。为了解决这个问题,一般服务端会存在多个实例,组成一个集群,来运行这些任务。那么,我们应该如何有效地调度这些任务呢?下面我们考虑几种比较简单且实际的实现方式。 设计目标 什么是设计目标? 我们的方案需要满足什么样的目的,所有的设计都需要围绕着我 开发运维 2023-08-21 三掌柜
说一说Spring中的单例模式 引言:例模式是一种常用的软件设计模式,它确保一个类只有一个实例,并提供一个全局访问点。单例模式通常用于日志记录、配置管理、缓存等场景,以避免创建过多的对象实例,从而提高系统性能。在Spring框架中,单例模式被广泛应用,Spring使用单例模式来创建和管理应用程序中的各个对象。本文将和大家一起回顾温习一下单例模式,并且了解其在Spring是如何使用的。 一、单例模式回顾 1.1 概念 单例模式 开发运维 2023-08-18 捡田螺的小男孩
accesskey_tools:一款针对云环境的多功能利用脚本工具 一、 关于accesskey_tools "accesskey_tools" 是一个基于 Python 开发的多平台云环境利用辅助脚本。该工具可用于渗透测试中,因开发的不规范,以及一些其它漏洞,拿到泄漏AK/SK的情况下,测试人员可以直接利用这些凭证对云服务器进行测试,及时修复风险并采取相应措施,确保云环境中的敏感凭证不会被滥用或泄露。 当前已支持的云: 阿里云 ECS 查询阿里云各地区的ecs实 系统运维 2023-08-18 剑圣无痕
Redis系列(三):深入解读Redis主从同步机制 首发博客地址 blog.zysicyj.top/ Redis高可靠靠什么保证? 为什么要提这个呢,因为Redis主从库目的呢其实就是为了实现高可靠。上篇文章中我们说过Redis的AOF、RDB日志其实就是为了减少数据丢失,这是高可靠的一部分。 这篇文章呢,我们聊聊Redis实现高可靠的另一方面:尽量减少服务中断。这里Redis是怎么做的呢?Redis的做法是增加副本冗余,将一份数据同时保存在多个实 开发运维 2023-08-18 醒在深海的猫
手把手教你使用阿里云服务器搭建个人博客 手把手教你使用阿里云服务器搭建个人博客 一、免费创建服务器实例 1.1 点击试用 点击试用会需要你创建服务器实例,直接选择默认的操作系统即可,点击下一步 1.2 修改服务器账号密码 二、创建云数据库实例 2.1 免费获取云数据库使用 2.2 实例列表页 在 实例列表页 选择目标实例,在实例右侧操作列,单击管理,进入RDS实例详情页。 2.3 创建数据库账号密码 2.4 创建数据库 2.4 添加数据 开发运维 2023-08-18 捡田螺的小男孩
技术分享 | MySQL MGR看着很美,却又为什么不敢用? 0. 前言 是什么原因不敢上MySQL MGR? 1. 什么是MySQL MGR 当我在群里说起MySQL MGR时,的确还有人不知道这是啥东东。有群友打趣,说这是: 美国人 卖狗肉 蒙古人 我只能说,你们真的都是天才。言归正传。 MySQL MGR是MySQL组复制(Group Replication)的简称。 MGR是一种基于shared-nothing的,更方便实现数据一致性及高可用集群方案 数据运维 2023-08-15 穿过生命散发芬芳
利用systemd管理MySQL单机多实例 用systemd代替mysqld_multi管理单机多实例,也很方便。 有时候,我们需要在单机环境下跑多实例。在以前,一般是习惯用mysqld_multi来跑多实例。不过从CentOS 7开始引入systemd作为新的系统管理器后,用它来管理多实例也是很方便的。 本文我们以RPM/YUM方式安装后的MySQL为例,介绍如何用systemd管理多实例。 以RPM/YUM方式安装完后,会生成syste 数据运维 2023-08-15 贤蛋大眼萌
Linux环境监控工具汇总 Linux 操作系统有诸多自带和第三方的监控工具,以下从不同维度来整理常用的一些监控工具。 CPU top(经典的Linux任务管理工具) 示例:top -n 1 -b vmstat(展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用) 示例:vmstat 1 10 #每1秒采集一次共采集10次 pidstat(进程实时监控) 示例:pidstat -u 1 -p pid 数据运维 2023-08-15 大白菜程序猿
mysql.sock 的三种配置路径 背景 五一期间,我用前端三件套写一个自用的浏览器插件,后端程序用 nodejs,它会连接 MySQL8.0.33 数据库,3306 端口。这个数据库是跑在我的 vmware 虚拟机里的,它同时是我的实验环境,上面还利用多实例部署方式,跑了另外一个 MySQL5.7.39 的实例,运行在 3307 端口。 近期我家中经历了一次断电事件,导致我正在运行的 VMware 虚拟机随着主机一同断电。尽管我的 数据运维 2023-08-15 张二河
GreatSQL通过错误日志信息判断数据库实例是如何关闭的 背景概述 在一次客户的数据库实例连接不上了,需要我们排查一下原因,通过查看数据库实例进程已经不存在了,在错误日志中没有发现其他报错信息,发现有shutdown的字样出现,怀疑是某个用户手动关闭了实例。我们通过以下测试,发现是由于用户关闭了主机所导致的。 问题复现 本次测试基于GreatSQL 8.0.32-24,通过以下测试了解不同情况下关闭数据库实例后错误日志会记录哪些信息,之后可以通过错误日志 数据运维 2023-08-15 向阳逐梦
单例模式的理论与实现 本文实践代码仓库:github.com/goSilver/my… 一、定义 单例模式是一种创建型设计模式,它确保一个类只有一个实例,并提供一个全局访问点以访问该实例。单例模式常用于需要共享资源或控制某个唯一资源的场景,例如数据库连接、线程池等。 二、作用 单例模式可以确保在整个应用程序中只有一个对象实例存在,从而方便地共享资源、管理状态或控制某些操作。 从业务概念上,有些数据在系统中只应该保存一份 开发运维 2023-08-13 醒在深海的猫
java中的设计模式 单例模式 单例模式(Singleton Pattern)是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。 这种模式涉及到一个单一的类,该类负责创建自己的对象,同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式,可以直接访问,不需要实例化该类的对象。 1、单例类只能有一个实例。 2、单例类必须自己创建自己的唯一实例。 3、单例类 系统运维 2023-08-13 大猫
Rust:函数,方法,关联函数有什么区别? 在 Rust 中,函数、方法和关联函数都是用来封装行为的。它们之间的区别主要在于它们的定义和调用方式。 函数(Function):Rust 中的函数与其他语言中的函数概念相似。它们是独立的代码块,可以接受输入参数并返回一个值。函数可以在任何地方定义和调用。 方法(Method):方法与函数类似,但它们是在结构体(struct)中定义的,并且第一个参数必须是 self,表示调用该方法的结构体实例。方 开发运维 2023-08-13 张二河
java 实例化耗时,Java 实例化graphDb数据库实例耗时问题 我现在的数据库文件夹是16.2G,用的电脑win7 64位,内存16G,neo4j.conf里面的两个参数设置如下: dbms.memory.heap.initial_size=1024m dbms.memory.heap.max_size=6000m 现在单纯的开启neo4j服务是可以的,但是在eclipse里面通过上面的方式实例化数据库就会抛出异常,eclipse.ini里面设置的 -Xms1 数据运维 2023-08-13 剑圣无痕
mount oracle 在软件开发过程中,数据库是必不可少的一部分。而Oracle数据库是其中最为流行的数据库之一。在使用Oracle数据库时,需要挂载(mount)数据库。本文将详细介绍Oracle数据库挂载过程以及一些常见的问题。 首先,我们需要创建Oracle实例。实例是数据库在内存中的副本,可以访问数据库中的数据。在创建实例之前,需要先为数据库创建一个目录。接着,我们可以使用以下命令来创建实例: $ORACLE_ 数据运维 2023-08-13 三掌柜
MySQL数据库子查询 sub query 目录 1、基本概念 1.1、子查询 1.2、主查询 1.3、子查询和主查询的关系 1.4、子查询的分类 2、标量子查询 2.1、基本语法 2.2、示例 3、列子查询 3.1、基本语法 3.2、示例 4、行子查询 4.1、基本语法 4.2、示例 5、表子查询 5.1、基本语法 5.2、示例 6、exists子查询 6.1、基本语法 6.2、示例 7、子查询中的特定关键字 7.1、in 7.2、any 数据运维 2023-08-13 捡田螺的小男孩
mybatis添加oracle 在企业级Java开发中,MyBatis是一个非常流行的持久化框架。它的流程简单、易懂,同时提供了强大的数据映射功能。而Oracle是目前业界广泛使用的关系型数据库系统,本文将针对MyBatis开发过程中添加Oracle进行详细介绍。 首先,我们需要在项目中添加Oracle数据库的相关依赖。以下是一段pom.xml文件的示例代码: com.oracle.jdbc ojdbc6 11.2.0.3.0 数据运维 2023-08-12 三掌柜
数据库异常智能分析与诊断 全内存计算:确保所有的计算都在单线程内或单进程内做纯内存的操作,追求性能跟吞吐量的。 上报原始数据:MySQL实例上报的数据尽量维持原始数据状态,不做或者尽量少做数据加工。数据压缩:由于上报量巨大,需要保障上报的数据进行的压缩。 内存消耗可控:通过理论和实际压测保障几乎不可能会发生内存溢出。 小化对MySQL实例的影响:计算尽量后置,不在Agent上做复杂计算,确保不对RDS实例生产较大影响。以下 数据运维 2023-08-12 大树
Greenplum 6.0安装教程 一、Greenplum简介Greenplum数据库系统体系结构的概述。 Greenplum数据库通过在多个服务器或主机之间分配负载来存储和处理大量数据。Greenplum中的逻辑数据库是一组单独的PostgreSQL数据库,这些数据库协同工作以呈现单个数据库映像。该主是入口点,Greenplum的数据库系统。它是用户连接并提交SQL语句的数据库实例。主服务器协调系统中其他数据库实例(称为segme 数据运维 2023-08-12 LOVEHL^ˇ^
Greenplum日常维护命令 文章目录1. 数据库启动:gpstart2. 数据库停止:gpstop3. 查看实例配置和状态4. gpstate :显示数据库运行状态,详细配置等信息5. 查看用户会话和提交的查询等信息6.查看数据库、表占用空间7.查看数据分布情况8.实例恢复:gprecoverseg9.数据库备份 gpcrondump10.数据库恢复 gpdbrestore11.参数查询12.创建数据库13.创建GP文件系统 数据运维 2023-08-12 剑圣无痕