Jwebcrawler

Description

Jwebcrawler : Java Web Crawler

온라인 웹 크롤링 서비스

온라인 상에서 간편하게 웹 크롤링을 경험해볼 수 있는 서비스입니다.

Demo Website

API Docs : http://15.164.189.25:8090/swagger-ui/index.html

Web Demo : https://jwebcrawler.vercel.app

※ 원활한 사이트 관리를 위해 사용자 정보는 주기적으로 삭제될 수 있습니다.

Tech Stack

Backend

Frontend

Environment

Backend

• Spring Boot 2.7.11
• JDK 11
• Ubuntu 20.04
• Jsoup 1.15.4

Frontend

• React 18.2.0
• Node.js 16.14.2

Project Structure

Main Feature

Web API

• Spring Security 기반 인증 시스템
  • 로그인/회원가입: JWT 기반 인증 (Access Token / Refresh Token)
  • USER, ADMIN 권한 관리
• 게시판 기능: 작성, 조회, 수정, 삭제 가능
• 댓글 기능: 작성, 조회 가능

Crawling API

• Jsoup 기반 웹크롤링 API 제공
  • 본문 내용 크롤링: p 태그, br 태그 등 줄바꿈 유형에 따른 크롤링 가능
  • 목록 항목 크롤링: li 태그, tr 태그 등 목록 항목에 관한 내용 크롤링 가능

Screenshots

사용자 시스템

관리자 시스템