광운대학교 로봇학부 2021년도 1학기 캡스톤 디자인 '로부스'팀 Repository입니다.
개발 기간 : 2021.3 ~ 2021.6
캡스톤 작품에 대한 자세한 내용은 본 논문에서 확인할 수 있습니다.
| 팀원 | 맡은 역할 |
|---|---|
| 김범수(팀장) | 전체 지휘 총괄 및 일정 조율, Fuzzy 제어기 Input 설계, 시연 환경 세팅 |
| 김태영 | Jetson 환경설정, Yolov3-tiny Training, Fuzzy 제어기 Input 설계, 무선 충전 모듈 제작 |
| 정현민 | 하드웨어 설계, Fuzzy 제어기 설계, 하위 제어기 설계, 무선 충전 모듈 제작 |
| 이창훈 | Jetson 환경설정, 회로 설계 및 제작, 하위 제어기 설계 및 구현, Kinematics 해석 |
지도교수 : 광운대학교 로봇학부 오정현 교수님.
- Omni Wheel(3개) 기반 모바일 로봇 제작
- Cascade 기반의 모터 속도 PI 제어기 설계
- Fuzzy를 이용한 상위 제어기 설계
- RGB-D 카메라 기반 Fuzzy 제어기 Input 설계
- 딥러닝 기반 번호판 검출 (Yolov3-tiny)
< 번호판을 기준으로 Target 위치 선정 및 모바일 로봇 제어 >
< 전자기 유도를 통한 전력 송신 후 LED 점등 >
< 실제 차 번호판을 기준으로 Target 위치 선정 및 모바일 로봇 제어 >
| Library, Package 및 OS | Version |
|---|---|
| Jetpack | 4.4.1 |
| ROS | Melodic |
| Ubuntu | 18.04 |
| CUDA | 10.2 |
| CuDNN | 8.0.0 |
| OpenCV | 4.1.1 |
| PCL | 1.8 |
| ROS package 이름 | Description |
|---|---|
| convert_2d_to_3d | Fuzzy 제어기 및 Yolov3 Bounding box 기반 Input Algorithm 설계 |
| darknet_ros | Yolov3와 ROS를 연동하기 위한 패키지 |
| joystick_drivers | 옴니휠을 조이스틱으로 제어하기 위한 패키지 |
| omni_bot_msg | Omniwheel robot의 customized ROS message |
| realsense-ros | Realsense 카메라를 ROS 연동을 하기 위한 패키지 |
| serial | serial 통신을 위한 ROS 패키지 |
| stm32_serial_comm | STM32와 Jetson Xavier 통신을 위한 패키지 |
| timed_roslaunch | 로봇 작동에 필요한 launch 파일들을 한번에 작동시키기 위한 패키지 |
| vision_opencv | ROS와 OpenCV 연동을 위한 패키지 |
realsense-ros패키지에서 Depth filtering을 적용, Point cloud를 먼저 publish한다.
roslaunch realsense2_camera rs_rgbd.launch
darknet-ros패키지를 활용하여 번호판 검출, Bounding box에 대한 좌표를 publish한다.
roslaunch darknet_ros darknet_ros.launch
- Bounding box 및 Point cloud를 기반으로 Fuzzy 제어기에 들어갈 Input 계산, Fuzzy 제어기를 통한 각 옴니휠에 들어갈 각속도 계산
roslaunch convert_2d_to_3d control_input.launch
- Seiral 통신을 활용한 각속도 값을 STM32로 전달
roslaunch stm32_serial_comm total.launch
- Darknet-ROS for OpenCV4 : tom13133/darknet_ros
- Realsense ROS package : IntelRealSense/realsense-ros
- Serial : serial ROS package
- Joystick for ROS : joy ROS package
- Delay the launch of a roslaunch file : timed_roslaunch ROS package
- ROS with OpenCV : vision_opencv ROS package