summary2video.py

[subinok99]

error: (-215:Assertion failed) !ssize.empty() in function 'cv::resize'

When you attempt to run the Summary2video.py, the error above occurs.
Set frame to 30fps, save as jpg, and run the command below.
There are 1286 images, but the code requires more frames.

python summary2video.py -p log/summe-split0/result.h5 -d datasets/test01 -i 0 --fps 30 --save-dir log --save-name summary.mp4

[SinDongHwan]

Hi, @Ok-subin.
에러 메세지가, 이미지를 읽어서 resize를 하려는데 읽어온 이미지가 없어서 발생하는 에러에요.
말씀데로 더 많은 프레임이 필요하다면, result.h5에서 0번째의 video 인덱스 값(예, video_0, video_1, ...)을 확인할 필요가 있을 것 같아요.
만약 0번째의 video 인덱스가 video_0이면, -d의 경로를 Air_Force_One의 프레임들이 저장된 경로로 지정해주셔야 합니다.
video 인덱스 매핑은

video_0 : Air_Force_One.mp4
video_1 : Base Jumping.mp4

이런식으로 파일 이름순으로 매핑이 됩니다.

• summary2video.py를 실행하기 위해선, 준비 및 확인해야할 사항들이 있습니다.

1. SumMe 원본 데이터셋을 다운 받아서, 각 video들을 frame으로 변환
2. summary2video.py에서 이미지들을 읽어오는 파일 형식( 예, 000000.jpg)이 실제 frame 파일 형식과 같은지 확인
3. result.h5에 저장된 video index에 해당하는 프레임 디렉토리를 -d 파라미터로 입력했는지 확인

-d를 result.h5에 저장된 video index에 맞게 입력하기 번거럽다면 모든 video frame들을 다 읽어와서 result.h5에 있는 video index만 사용하셔도 좋을 것 같습니다.

[subinok99]

Hi, @Ok-subin.
에러 메세지가, 이미지를 읽어서 resize를 하려는데 읽어온 이미지가 없어서 발생하는 에러에요.
말씀데로 더 많은 프레임이 필요하다면, result.h5에서 0번째의 video 인덱스 값(예, video_0, video_1, ...)을 확인할 필요가 있을 것 같아요.
만약 0번째의 video 인덱스가 video_0이면, -d의 경로를 Air_Force_One의 프레임들이 저장된 경로로 지정해주셔야 합니다.
video 인덱스 매핑은

video_0 : Air_Force_One.mp4
video_1 : Base Jumping.mp4

이런식으로 파일 이름순으로 매핑이 됩니다.

• summary2video.py를 실행하기 위해선, 준비 및 확인해야할 사항들이 있습니다.

1. SumMe 원본 데이터셋을 다운 받아서, 각 video들을 frame으로 변환
2. summary2video.py에서 이미지들을 읽어오는 파일 형식( 예, 000000.jpg)이 실제 frame 파일 형식과 같은지 확인
3. result.h5에 저장된 video index에 해당하는 프레임 디렉토리를 -d 파라미터로 입력했는지 확인

-d를 result.h5에 저장된 video index에 맞게 입력하기 번거럽다면 모든 video frame들을 다 읽어와서 result.h5에 있는 video index만 사용하셔도 좋을 것 같습니다.

감사합니다.
덕분에 문제를 해결했습니다.
한가지 더 궁금한 점이 있다면, 해당 프로젝트에서 video1과 같은 인덱스는 summe나 tvsum을 다운받았을 때의 순서 그대로일까요?

[SinDongHwan]

Hi, @Ok-subin.
에러 메세지가, 이미지를 읽어서 resize를 하려는데 읽어온 이미지가 없어서 발생하는 에러에요.
말씀데로 더 많은 프레임이 필요하다면, result.h5에서 0번째의 video 인덱스 값(예, video_0, video_1, ...)을 확인할 필요가 있을 것 같아요.
만약 0번째의 video 인덱스가 video_0이면, -d의 경로를 Air_Force_One의 프레임들이 저장된 경로로 지정해주셔야 합니다.
video 인덱스 매핑은

video_0 : Air_Force_One.mp4
video_1 : Base Jumping.mp4

이런식으로 파일 이름순으로 매핑이 됩니다.

• summary2video.py를 실행하기 위해선, 준비 및 확인해야할 사항들이 있습니다.

1. SumMe 원본 데이터셋을 다운 받아서, 각 video들을 frame으로 변환
2. summary2video.py에서 이미지들을 읽어오는 파일 형식( 예, 000000.jpg)이 실제 frame 파일 형식과 같은지 확인
3. result.h5에 저장된 video index에 해당하는 프레임 디렉토리를 -d 파라미터로 입력했는지 확인

-d를 result.h5에 저장된 video index에 맞게 입력하기 번거럽다면 모든 video frame들을 다 읽어와서 result.h5에 있는 video index만 사용하셔도 좋을 것 같습니다.

감사합니다.
덕분에 문제를 해결했습니다.
한가지 더 궁금한 점이 있다면, 해당 프로젝트에서 video1과 같은 인덱스는 summe나 tvsum을 다운받았을 때의 순서 그대로일까요?

해결되었다니, 다행이네요.
정확하게 기억은 안나지만, 순서대로일 것 같아요.