一个简单算法解决集群定时任务重复执行

2023年 10月 12日 16.3k 0

好久不见,今天给大家分享一个非常好用的方法,来解决集群定时任务如何避免重复执行的问题。

需求描述:

大家都知道,定时任务在我们实际项目当中是会经常被使用到的,在生产环境中,为了保证服务的高可用,所以部署的服务往往都是集群架构的。

那么这里就会带来一个问题,定时任务处理的相关的业务,其实是没有必要重复去执行的,如果重复执行反而会带来更加复杂的问题,那么我们如何来防止集群架构下,定时任务重复执行呢?

解决办法:

解决的办法有很多种,可以用分布式锁数据库锁等等,但是你们不觉得用锁来解决这个问题,有点大材小用了,而且依靠其他中间服务,如果中间服务挂了,岂不是整个定时任务都不能用了?

那么我来讲讲在 Nacos 里面是如何巧妙的解决这个问题的,在 Nacos 里面也有很多后台定时任务,而 Nacos 只用了一个简单的算法,就很巧妙的解决了这个问题。

思路如下:

首先,我们需要写一个算法,这个算法会判断当前服务是否具有执行的权力。

然后在每一个服务的定时任务执行之前,需要调用这个算法,来判断自己本身需不需要执行,如果不需要就跳过,只有判断返回为 true,才会进行真正的执行。 那么这个是怎么实现的呢?

接下来给你们看看代码就很清楚了,首先在任务真正执行的时候,会调用 responsible()方法来判断,自己需不需要执行,判断返回为 true 则执行定时具体的逻辑。

  /**
     * 执行
     *
     * @param context 上下文
     */
    @Override
    public void execute(JobExecutionContext context) {
        Crontab crontab = new Crontab();
        BeanUtils.copyProperties(context.getMergedJobDataMap().get(TaskConstants.TASK_PROPERTIES), crontab);

        try {
            // 判断自己是否需要执行任务
            if (responsible(crontab.getName())) {
                before();
                doExecute(context, crontab);
                after(crontab, null);
            }
        } catch (Exception e) {
            log.error("任务执行异常:", e);
            after(crontab, e);
        }
    }

重点就在于这个算法如何实现的,先给你们讲讲实现的逻辑:

1、首先这个算法要知道,定时任务集群的数量是多少,getServerList 这个方法我会去从 Nacos 注册中心获取定时任务健康的实例数量。

2、基于定时任务集群的数量 + 定时任务名字,这个算法的特点就是哪怕你有3台、5台定时任务的集群数量,最终,只会有一个集群实例能够获取执行权限。

 /**
* 责任计算,保证异步任务,集群下只有一个节点执行任务
*
* @param taskName
* @return
*/
private boolean responsible(String taskName) {

// 获取定时任务健康实例信息
List servers = getServerList();

// 如果没有可用的健康集群节点,则直接返回 false
// 这里不能返回为 true,如果自身定时任务实例在执行,servers 就不可能为空,除非是出问题了
// 如果这里直接返回为 true 就会带来重复执行的问题
if (CollectionUtils.isEmpty(servers)) {
return false;
}

// 获取当前服务ip地址
String localAddress = getLocalAddress();
int index = servers.indexOf(localAddress);
int lastIndex = servers.lastIndexOf(localAddress);

if (lastIndex < 0 || index = index && target

相关文章

JavaScript2024新功能:Object.groupBy、正则表达式v标志
PHP trim 函数对多字节字符的使用和限制
新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
使用HTMX为WordPress增效:如何在不使用复杂框架的情况下增强平台功能
为React 19做准备:WordPress 6.6用户指南
如何删除WordPress中的所有评论

发布评论