-
0 votesanswersviews
Spring批次3600在启动前分区长暂停
我有以下 spring 批处理作业，其中包含一个分区步骤，可为分区步骤创建3600个分区 . 我使用ThreadPoolTaskExecutor，最大池大小为100，队列容量为100（尽管速度似乎没有区别） . 我使用Visual VM监视线程，我注意到taskExecutor线程在启动作业后> 5分钟才开始 . 奇怪的是，如果我将分区数量限制为100，则线程会很快启动并在大约一分钟内完成 ... -
0 votesanswersviews
如何在Spring Batch中使用MongoItemWriter更新和插入文档？
在涉及读写 MongoDB 的 Spring Batch 项目中，使用 MongoItemWriter 写入 MongoDB 的配置如下： <batch:job id=“someJob”> <batch:step id="step1"> <batch:tasklet> <batch:chu... -
0 votesanswersviews
spring批处理作业实例
我收到以下错误： org.springframework.beans.factory.BeanCreationException创建类路径资源中定义名为'job'的bean时出错 . 通过工厂方法进行Bean实例化失败 . 无法实例化[org.springframework.batch.core.Job]：工厂方法'job'抛出异常com / java / BatchConfig.class ... -
0 votesanswersviews
Spring Batch Multiple DataSource Session / Entitymanager已关闭
我试图使用Spring Boot和Sprin Batch（JpaPagingItemReader和JpaItemWriter）从SQLServer数据库中将记录拉到Mysql中 . 我已经配置了多个数据源 . 我怎么面对以下错误 . org.springframework.batch.item.ItemStreamException: Error while closing item reader... -
1 votesanswersviews
Java Spring Batch中的ETL与Apache Spark基准测试
我已经使用Apache Spark Scala超过5年了（学术和专业经验） . 我总是发现Spark / Scala是用于构建任何类型的批处理或流式ETL / ELT应用程序的强大组合之一 . 但最近，我的客户决定在我们的两个主要管道中使用Java Spring Batch： 从MongoDB读取 - >业务逻辑 - >写入JSON文件（~2GB | 600k行） 从Cassa... -
0 votesanswersviews
如何异步启动Spring Batch Job
我跟着spring batch doc并且无法让我的工作异步运行 . 所以我从Web容器运行Job，并通过REST endpoints 触发作业 . I wanted to get the JobInstance ID 在完成整个工作之前将其传递回应 . 因此，他们可以稍后使用JobInstance ID检查作业的状态，而不是等待 . 但我无法让它发挥作用 . 下面是我试过的示例代码 . 请让我知... -
4 votesanswersviews
Spring Batch解析步骤's resources before it'的时间来运行该步骤
我有一个包含两个步骤（到目前为止）的Spring Batch作业 . 作业中的 first step 在tasklet中实现 . 它采用需要处理的逗号分隔值（CSV）文件（使用大量业务逻辑来确定它们是哪些），并将它们复制到"drop zone"目录中 . second step 配置为面向块的处理，带有读写器 . 阅读器是 MultiResourceItemReader ..... -
20 votesanswersviews
Spring批处理中的多个项目编写者
我正在编写一个Spring批处理，我正在读取一大块数据，处理它然后我希望将这些数据传递给2个编写器 . 一个编写器只是更新数据库，而第二个编写器将写入csv文件 . 我打算编写自己的自定义编写器并在customItemWriter中注入两个itemWriters，并在customItemWriter的write方法中调用两个item编写器的write方法 . 这种方法是否正确？是否有任何符合我要求... -
1 votesanswersviews
在 Spring 季批次中重新启动作业时跳过一步
目前我正在使用 spring 批处理任务 . 有一个工作包含3个步骤：step1，step2，step3 . 第一次执行：step1，step2，step3 . 如果step2失败，我们将重新启动该作业 . 但第二次，我们希望作业跳过step2，这意味着：step1，step3 . 有没有人有 skip a specific step when restart a job 的解决方案？ -
2 votesanswersviews
Spring批量MongoDB与Spring批量MySQL的权衡
我之前使用过Spring Batch和MySQL，Spring Batch Admin的可用性使得Jobs的启动，停止和重启变得更加容易 . 但我现在的公司正在考虑从Derby数据库迁移到MongoDB，以获得明显的NoSQL DB优势，并且还希望将他们现有的混乱批处理应用程序解决方案转移到使用Spring Batch框架 . 他们还希望使用Spring Batch的Admin来管理作业 . Qu... -
5 votesanswersviews
Spring Batch - 重复的STEP消息
我有一个 spring 批处理作业，预计将根据FIFO顺序处理'N'作业ID . 这个 Spring 季批处理作业有5个步骤 .我们使用DECIDER来确定是否存在任何job-id . 如果是，请转到第一步并运行该job-id的所有步骤 .我在spring-batch发出的日志中看到"duplicate step"消息，除非第一个作业中的步骤（比如job-id = 1）获得UN... -
1 votesanswersviews
Spring 季批次中的链接步骤
我正在阅读 spring 批处理项目的 spring 文档，我想知道是否有开箱即用的配置链接步骤，这意味着第一步的输出是第二步的输入，依此类推 . 我不是要求一个接一个执行的步骤流程，更多的是使用步骤的项目处理器的退出作为下一个的输入 . 我想到的是使用读取器，处理器和编写器的正常步骤创建一个平面文件，可以在下一步中由第二个读取器读取，但这似乎是低效率的，因为需要编写jvm中的对象并使用第二个阅读... -
0 votesanswersviews
Spring批处理 - 在自定义编写器处执行数据已更新错误时提交失败
作家班结束后 . spring 批处理执行中发生错误 . 所有读取数据都要回滚，而块数据不会插入到DB中 . “步骤执行数据已更新错误时提交失败”是什么意思？为什么会出现这个日志？ 是作家插入交易的时间问题吗？ 如果有一次插入事务（注释掉'recordDataService.insertRecordData（recordData）;'，则没有问题 . My Code : @Override ... -
0 votesanswersviews
如何在spring批处理应用程序中重启失败的步骤
我想使用 spring 批处理中的“重启失败”功能，我从上次作业失败的地方开始重新启动 . 如何在此使用作业执行上下文和步骤执行上下文表？我应该在这些表的哪一列中存储哪些信息，以及如何检索它们？我只想重新启动上次运行失败的步骤 . 我已经尝试使用作业实例来查找上次失败的作业 List<JobInstance> lastInstances = explorer.getJobInstanc... -
1 votesanswersviews
Spring批处理分区不起作用
我使用Spring Batch Partitioning将相关平面文件组中的数据合并到一个文件中 . 批次失败，发生以下两个问题： 第一个从属步骤线程失败，因为数据到文件写入器在打开之前被写入 . 此线程的变量inputFileNames（由分区程序提供的步骤上下文数据）的值为[20002“，20003] 第二个从属步骤线程失败，因为步骤上下文中缺少分区数据 . 此线程的变量inputFi... -
0 votesanswersviews
使用侦听器捕获Spring Batch中的错误
我是Spring和Spring Batch的新手 . 我写了一个基本的工作，应该每5秒重复一次 . 它有两个步骤，第一步（ step1 ）应该每次都失败 . 我的目的是查看作业是否会在 step1 中报告这些错误并继续 step2 . 我用来捕获 step1 中的错误的方法如下（使用 listener s） . 我想对我的方法的正确与错误进行一些批评 . 这是我的工作配置 . 它有一个工作，有... -
2 votesanswersviews
使用Spring Batch将日期从文件解析为LocalDateTime
我正在尝试使用Spring Batch读取带有日期的CSV文件，但是我在将日期解析为 LocalDateTime 对象时遇到问题： 字段'date'上对象'target'中的字段错误：被拒绝的值[2017-07-20 04：15：25.0];代码[typeMismatch.target.date，typeMismatch.date，typeMismatch.java.time.LocalDate... -
0 votesanswersviews
在SpringBoot Spring Batch中读取多个文件和进程
我正在使用带有 spring 靴的Spring批次 . 我在处理多个文件时遇到问题 . 我的情景 . 我有多个文件有不同的 Headers ，例如： Sourcefile1.txt： name, age, salary ajay, 22, 2000 vijay, 23, 3000 Sourcefile2.txt： name, address vijay, india ajay, uk 我想使用... -
0 votesanswersviews
spring批处理在运行时读取不同的文件
我有一个需要配置的 spring 批处理作业 . 从某种意义上说，它应该能够根据传递的内容读取不同的文件并构建阅读器，并且可能每个不同的阅读器都有自己的编写器 . 下面的例子读取一个文件，然后调用它的编写器 . 如何使load_area.txt成为动态的 . @Bean public Step orderStep() { return stepBuilderFactory.get(... -
1 votesanswersviews
如何从spring批处理中的多个相关数据库表中读取复杂数据
我打算实现批处理从各种DB表中读取数据以填充下面的复杂域，然后在处理器中执行计算并通过writer将数据加载到DB中 . public class A{ private String id; private String name; private ArrayList list1; private ArrayList list2; ...... } 现在，我陷入了读者的设... -
2 votesanswersviews
块中的Spring Batch异常
我有一个 spring 批处理作业，它有多个步骤 . 第1步：从数据库中加载10条记录 . （Tasklet完成这项工作） 步骤2：使用ItemReader，ItemProcessor，使用commit -interval = 1的ItemWriter实现在此处配置面向块的处理 据我了解，现在每一条记录都会发生 开始交易（读 - 处理 - 写）提交Tx 我的问题是想象它处理了6条记录，现在使... -
3 votesanswersviews
虽然定义了无回滚异常类，但SpringBatch会进行回滚
我得到了以下工作： <batch:job id="importCardsJob" job-repository="jobRepository"> <batch:step id="importCardStep"> <batch:tasklet transaction-manager=&q... -
4 votesanswersviews
Spring Batch重试策略和跳过策略问题
我在批处理作业中有以下步骤 . <batch:step id="parse-step"> <batch:tasklet> <batch:chunk reader="xmlCommonReader" processor="xmlCo... -
1 votesanswersviews
Spring Batch - 读取csv并使用跳过/异常策略将数据转储到表中
我们使用Spring Batch从CSV文件中读取记录并插入到数据库表中 . Datasource and transaction manager <!-- connect to database --> <bean id="dataSource" class="org.springframework.jdbc.datasou... -
5 votesanswersviews
Spring批处理JPA Persistance异常处理
我正在使用Spring批处理应用程序，该应用程序使用JPA Persistence写入数据库 . 我有一个场景，我必须在写入期间跳过异常，并且作业必须继续而不会失败 . 假设我有10条记录要写，而记录6会抛出一个SQL异常（表或视图不存在 . ）我需要跳过这条记录并继续下一条记录 . 我尝试实现skippable-exception-classes但不能跳过异常并且作业失败 . 该作业抛出SQL异... -
0 votesanswersviews
Spring Batch Processor Exception Listener？
我有一个分区的Spring Batch作业，它读取几个拆分的CSV文件并在每个线程中处理每个文件，然后将结果写入相应的输出文件 . 如果某个项目无法处理（抛出异常），我想将该结果写入错误文件 . 有没有办法添加可以处理此问题的编写器或侦听器？ 更进一步，有没有办法通过异常类型将其拆分并将不同的异常写入不同的文件？ -
0 votesanswersviews
使用skip后异常后，JdbcBatchItemWriter中不会发生回滚
当此作业开始读取包含292条记录的文件时 . 数据截断java.sql.BatchUpdateException从记录200抛出到211.但数据库表插入460个recoreds . 抛出异常后不会发生回滚 . 我看了this和许多其他答案 . 我的工作中Autocommit设置为false . 以下是数据库配置 import javax.sql.DataSource; import org.sp... -
2 votesanswersviews
运行Basic Spring Batch示例时出错 - 引起：java.lang.ClassNotFoundException：org.hsqldb.jdbcDriver
我正在尝试使用STS（SpringSource Tool Suite）中的简单 spring 批处理项目模板运行示例Spring批处理项目 . 为此，我在Eclipse中运行了以下步骤： 右键单击 - >新建 - >其他选定的SpringSource工具套件 - > Spring模板项目 - >简单 spring 批输入相关的项目名称和包名称 然后我尝试使用运行项目 mvn... -
0 votesanswersviews
Spring Batch将数据从步骤1保存到步骤2
我已经彻底搜索了Spring文档和支持站点，但是没有找到并回答这个问题;如果我想在ExecutionContext中访问和存储一些值，我是否必须编写实现ItemStream的自定义databaseItemReader和ItemWriter，或者我可以使用“开箱即用”的读者和编写器并在 Spring 天编辑bean -batch-context.xml文件这样做？任何代码示例将不胜感激 . 谢谢！ ... -
0 votesanswersviews
无法使用Spring Batch框架连接到Oracle数据源
我有一个小项目，我正在学习Spring Batch . 我想从Oracle数据库读取数据并写入XML文件，但是我收到了一个错误： 创建名为'step1'的bean时出错：在设置bean属性'jobRepository'时无法解析对bean'jobRepository'的引用;嵌套异常是org.springframework.beans.factory.BeanCreationException：...