[bug] Hikari Connection Pool 고갈 문제

[yonghwankim-dev]

상황

Hikari Connection Pool 고갈

서버로부터 SSE 이벤트 스트림을 받을 수 없습니다.

배포 서버로부터 받은 에러 로그는 다음과 같습니다.

Broken Pipe

배포 서버를 대상으로 SSE 이벤트 스트림을 받고자 하였는데 30초동안 5초마다 받는 것이 아닌 한번 SSE 데이터를 받고 complete 처리가 됩니다. 에러를 살펴보니 다음과 같은 에러를 받았습니다.

원인

Hikari Connection Pool 고갈 문제

sse 요청을 전송시 30초동안 요청 결과들을 5초 간격으로 응답받습니다. http 연결이 유지되는 동안 서비스 레이어의 트랜잭션이 종료되었음에도 불구하고 OSIV(Open Session In View가 활성화되어 있어서 30초동안 계속 Hikari Connection Pool의 연결 쓰레드를 점유합니다.

broken pipe

• 클라이언트에서 close하여서 발생하였습니다.

해결방법

Hikari Connection Pool 고갈 문제 해결 방법

OSIV(Open Session In View) 설정을 비활성화합니다.

application.yml

spring:
  jpa:
    open-in-view: false

HasPortfolioAuthorizationAspect AOP의 hasAuthorization 메소드에서 특정한 포트폴리오를 탐색한 다음에 portfolio.hasAuthorization 메소드를 수행하는 과정에서 member 연관관계 객체를 지연 로딩합니다.

FineAnts-was/src/main/java/codesquad/fineants/domain/portfolio/Portfolio.java

Lines 110 to 112 in 1722074

	public boolean hasAuthorization(Long memberId) {
	return member.hasAuthorization(memberId);
	}

jmeter를 이용하여 15명의 사용자로 15번씩 sse 요청했을때 결과를 모니터링한 결과 hikari connection pool의 활성화된 connection thread의 개수가 0개를 지속적으로 유지되는 것을 확인할 수 있었습니다.

INFO  24-01-12 16:17:05[pool-4-thread-1] [PortfolioEventListener:29] - emitter 전송준비 : SseEmitter@4948d60c
INFO  24-01-12 16:17:05[pool-4-thread-1] [PortfolioEventListener:34] - emitter1 포트폴리오 전송
INFO  24-01-12 16:17:07[pool-4-thread-1] [PortfolioEventPublisher:51] - 포트폴리오 발행 이벤트, PortfolioEvent(portfolioId=1)
INFO  24-01-12 16:17:07[http-nio-8080-exec-12] [PortfolioStockRestController:88] - emitter1 completion으로 인한 제거
DEBUG 24-01-12 16:17:07[http-nio-8080-exec-14] [AuthPrincipalArgumentResolver:29] - 인증 컨텍스트, AuthenticationContext(AuthMember(id=1, email=dragonbead95@naver.com))
DEBUG 24-01-12 16:17:08[HikariPool-1 housekeeper] [HikariPool:421] - HikariPool-1 - Pool stats (total=10, active=0, idle=10, waiting=0)
DEBUG 24-01-12 16:17:08[HikariPool-1 housekeeper] [HikariPool:518] - HikariPool-1 - Fill pool skipped, pool is at sufficient level.

Broken Pipe 문제 해결 방법

• broken pipe 에러 같은 경우 클라이언트에서 close하지 않고 재연결하도록 변경