SpringBatch高阶应用:大数据批处理框架实战指南

2024年 5月 6日 51.2k 0

本篇文章主要内容:通过Spring Batch从一个库中读取数据进过处理后写入到另外一个库中。

1. 环境准备

1.1 引入依赖


  org.springframework.boot
  spring-boot-starter-batch


  org.springframework.boot
  spring-boot-starter-data-jpa

2.2 配置Job

配置Job启动器

@Bean
JobLauncher userJobLauncher(JobRepository userJobRepository) {
  SimpleJobLauncher jobLauncher = new SimpleJobLauncher() ;
  jobLauncher.setJobRepository(userJobRepository) ;
  return jobLauncher ;
}

配置任务Repository存储元信息

@Bean
JobRepository userJobRepository(DataSource dataSource, PlatformTransactionManager transactionManager) {
  JobRepositoryFactoryBean factory = new JobRepositoryFactoryBean() ;
  factory.setDatabaseType("mysql") ;
  factory.setTransactionManager(transactionManager) ;
  factory.setDataSource(dataSource) ;
  try {
    factory.afterPropertiesSet() ; 
    return factory.getObject() ;
  } catch (Exception e) {
    throw new RuntimeException(e) ;
  }
}

配置ItemReader读取器

@Bean
ItemReader userReader(JobOperator jobOperator) throws Exception {
JpaPagingItemReaderBuilder builder = new JpaPagingItemReaderBuilder() ;
builder.entityManagerFactory(entityManagerFactory) ;
// 每次分页查询多少条数据
builder.pageSize(10) ;
builder.queryString("select u from User u where u.uid

相关文章

JavaScript2024新功能:Object.groupBy、正则表达式v标志
PHP trim 函数对多字节字符的使用和限制
新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
使用HTMX为WordPress增效:如何在不使用复杂框架的情况下增强平台功能
为React 19做准备:WordPress 6.6用户指南
如何删除WordPress中的所有评论

发布评论