전체 글11 3. Spring Batch 청크 프로세스 활용 Step1 - Cursor 기반의 ItemReader 지난 시간에 스프링 배치 청크 프로세스에 대한 전체적인 이해, ChunkOrientedTasklet 객체에 대한 설명, 그리고 ChunkProvider, ChunkProcessor에 대해 알아보는 시간을 갖었다. 이번 시간에는 ChunkProvider가 요청하는 ItemReader에 대해서 알아보자. 우선, ItemReader는 아래와 같이 5개의 구현체가 있습니다. 1) Flat Files - FlatFileItemReader 2) XML - StaxEventItemReader 3) Json - JsonItemReader 4) DB - JDBC ItemReader, JPA ItemReader 인프런 강의에는 전부 설명이 나와있지만, 현재 회사의 경우에는 DB - JDBC ItemReader, J.. 2022. 10. 3. 2. Spring Batch 청크 프로세스 이해 기존에 스프링 배치에 대해서 정리한 내용은 기본적인 환경설정에 대한 내용과 간단하게 Job, Step을 생성해서 진행해봤는데, 최근 업무를 하다가 청크(Chunk) 기반의 스프링 배치를 진행해야 하는 상황이 생겨서 스프링 배치 - 청크 프로세스에 대해서 정리해보는 시간을 갖었다. 기반 내용은 아래 인프런 강의를 듣고 정리하였다. https://www.inflearn.com/course/스프링-배치/dashboard 우선, 청크(Chunk)란 여러 개의 아이템을 묶은 하나의 덩어리, 블록을 의미한다. 한번에 하나씩 아이템을 입력받아 Chunk 단위의 덩어리로 만든 후 Chunk 단위로 트랜잭션을 처리한다. 즉, Chunk 단위의 Commit과 Rollback이 이루어진다. 일반적으로 대용량 데이터를 한번에.. 2022. 10. 3. 1. Spring Batch 이해하기 이직한 후에 현업을 하게되면서 전날 모은 데이터(사용자 데이터)를 배치 프로그램을 돌려서 AWS(S3)에 올리는 작업을 진행해야 했는데, Spring Batch를 사용해본 경험이 없기 때문에 다른 개발자님들의 블로그를 보며 정리해보았다. 1. 배치 어플리케이션이란? - 배치는 일괄처리란 뜻을 가지고 있습니다. 제가 현업에서 담당한 것처럼 매일 전날의 데이터를 집계 해야하는 상황에서 이 집계 과정을 어디서 수행하면 될까요? 현재 저는 웹 어플리케이션 밖에 모르기 때문에 Tomcat + Spring MVC를 떠올리게 됩니다. 하지만 이렇게 큰 데이터를 읽고, 가공하고, 저장한다면 해당 서버는 순식간에 자원을 다 써버려서 고객들의 요청을 처리하지 못하게 됩니다. 또한 이 집계 기능은 하루에 1번 수행되기 .. 2022. 10. 3. 이전 1 2 3 다음
