企鹅极客丨基于Redisson的分布式任务框架实现

发表时间：2021-08-26 19:00作者：未名企鹅


【一】 背景


随着业务不断发展，导出任务等功能导致服务和数据库压力过大，如果不加以控制，有可能造成服务宕机或者数据库不可用，影响其他服务，基于这个原因，需要集成一款分布式任务框架到项目中，根据项目本身特点，最好满足以下特性：

  • 动态扩容

  • 轻量级

  • 方便易用

  • 易于部署


对比现有的其他开源框架，都不能同时满足以上特点，但是Redisson分布式服务提供的基础能力可以满足基本需求，所以基于Redisson实现了一款的分布式任务框架。

【二】 Redisson定义和架构


Redisson是架设在Redis基础上的一个Java驻内存数据网格（In-Memory Data Grid），具有以下优势和特点：

  • Redisson在基于NIO的Netty框架上，充分的利用了Redis键值数据库提供的一系列优势。


  • 在Java实用工具包中常用接口的基础上，为使用者提供了一系列具有分布式特性的常用工具类。


  • 使得原本作为协调单机多线程并发程序的工具包获得了协调分布式多机多线程并发系统的能力，大大降低了设计和研发大规模分布式系统的难度。

  • 同时结合各富特色的分布式服务，更进一步简化了分布式环境中程序相互之间的协作。


  • 不必像其他队列那样，需要zookeeper这样的分布式应用程序协调服务，可实现动态伸缩，非常轻量级。


Redisson作为独立节点可以用于独立执行其他节点发布到分布式执行服务和分布式调度任务服务里的远程任务，构图如下：

【三】 Redisson分布式服务原理


1.分布式远程服务能力

通过共享接口执行存在于另一个Redisson实例里的对象方法，换句话说就是通过Redis实现了Java的远程过程调用（RPC）。分布式远程服务基于可以用POJO对象，方法的参数和返回类不受限制，可以是任何类型。

分布式远程服务（Remote Service）提供了两种类型的RRemoteService实例：

  • 服务端（远端）实例 - 用来执行远程方法（工作者实例即worker instance）


RRemoteService remoteService = redisson.getRemoteService();


SomeServiceImpl someServiceImpl = new SomeServiceImpl();

// 在调用远程方法以前，应该首先注册远程服务
// 只注册了一个服务端工作者实例，只能同时执行一个并发调用

remoteService.register(SomeServiceInterface.class, someServiceImpl);

// 注册了12个服务端工作者实例，可以同时执行12个并发调用

remoteService.register(SomeServiceInterface.class, someServiceImpl, 12);


  • 客户端（本地）实例 - 用来请求远程方法


RRemoteService remoteService = redisson.getRemoteService();


SomeServiceInterface service = remoteService.get(SomeServiceInterface.class);


String result = service.doSomeStuff(1L, "secondParam", new AnyParam());


客户端和服务端必须使用一样的共享接口，生成两者的Redisson实例必须采用相同的接配置。客户端和服务端实例可以运行在同一个JVM里，也可以是不同的。客户端和服务端的数量不受限制。

在服务端工作者可用实例数量 大于1 的时候，将并行执行并发调用的远程方法。
并行执行工作者数量计算方法如下：T = R * N

T - 并行执行工作者总数 R - Redisson服务端数量 N - 注册服务端时指定的执行工作者数量超过该数量的并发请求将在列队中等候执行，这个能力为分布式提供基础理论。

2.分布式远程服务工作流程

分布式远程服务为每个注册接口建立了两个列队。一个列队用于请求，由服务端监听，另一个列队用于应答回执和结果回复，由客户端监听。应答回执用于判定该请求是否已经被接受。如果在指定的超时时间内没有被执行工作者执行将会抛出RemoteServiceAckTimeoutException错误。

下图描述了每次发起远程过程调用请求的工作流程


为异步调用和取消提供基础能力，实现了发送即不管（Fire-and-Forget）模式和应答回执（Ack-Response）模式。

3.分布式实时对象服务

众所周知，一个对象的状态是由其内部的字段所赋的值来体现的，通过将这些值保存在一个像Redis这样的远程共享的空间的过程，把这个对象强化成了一个分布式对象。这个分布式对象就叫做Redisson分布式实时对象（Redisson Live Object，简称RLO）。

通过使用RLO，运行在不同服务器里的多个程序之间，共享一个对象实例变得和在单机程序里共享一个对象实例一样了。从任何一个客户端修改一个字段的值，处在其他服务器上的客户端即刻便能查看到。而且实现代码与单机程序代码无异。

鉴于Redis是一个单线程的程序，针对实时对象的所有的字段操作可以理解为全部是原子性操作，也就是说在读取一个字段的过程不会担心被其他线程所修改。通过使用RLO，可以把Redis当作一个允许被多个JVM同时操作且不受GC影响的共享堆（Heap Space），这是远程分布式成为可能的关键能力。

【四】 应用


基于Redisson提供的基础能力，本框架实现了如下功能，增加了原有Job的复用性，支持队列和任务可配置，使框架更加方便易用和易于扩展。

  • Job管理

管理现有Job基本信息。

  • Task管理

根据Job基本信息和参数生成Task，可以针对task执行启动，取消，查看状态和重试等操作。

  • 参数管理

支持传递Json格式字符串参数，使Task启动时不再依赖参数，统一了Task的分发逻辑和存储结构，还支持传递一些指定格式的环境变量参数。

  • JobKey管理

支持Job分组管理。

  • 提供自定义注解

使用户集成和使用更加方便。

  • 提供框架starter

提供默认配置，使部署更加简易，支持用户自定义实现。

  • 自定义配置选项

可以定制队列大小及名字等基本信息，配置简单，方便易用。

【五】 总结


基于Redisson的分布式任务框架，解决了服务导出任务时间长，消耗资源大等问题，增加了系统的稳定性和抗压性，同样的框架还被应用于清洗系统等其他服务，体现了很好的复用性，未来还可以增加任务管理界面和异常监控等功能，扩展框架的可用性。

欢迎有需求的药企朋友们交流

如果您对未名企鹅的相关产品感兴趣，欢迎关注未名企鹅公众号，或者点击文末左下角“阅读原文”给我们留言提出您的需求建议。



关于未名企鹅
     
未名企鹅以“连接健康”为使命，致力于提供生命健康领域的大数据产品和解决方案，帮助客户实现数据驱动的业务增长。

未名企鹅中的“未名”代表北大，寓意人文精神，生命健康领域正是体现人文关怀的产业；“企鹅”象征科技，未名企鹅的创始团队毕业于北大，技术力量来自腾讯，公司以未名企鹅命名是希望以人文情怀加上科技力量来推动生命科学行业数字化发展。

未名企鹅 丨 增长，由此而来！

分享到：