모두의 말뭉치: 신문 말뭉치 loader

[lovit]

Pull Request

Korpora에 기여해 주셔서 감사합니다.

해당 Pull Request를 제출하기 전에 아래 사항이 완료되었는지 확인 부탁드립니다:

• 작성한 코드가 어떤 에러나 경고 없이 실행이 되나요?
• 작성한 코드에 대한 테스트 코드를 만드셨나요? (경로 : Korpora/test)
• 기존 코드 역시 에러 없이 수행이 되겠죠?

1. 해당 PR은 어떤 내용인가요?

모두의 말뭉치 중 신문 말뭉치를 손쉽게 로딩할 수 있는 기능을 제공합니다. 사용법은 #107 의 커멘트를 참고하세요.

2. PR과 관련된 이슈가 있나요?

#103, #107

[ratsgo]

제가 지금 테스트 중인데요. 사용자가 ModuNewsKorpus의 root_dir_or_paths를 잘못 입력하여 데이터가 전혀 로드되지 않을 경우(즉 self.text의 길이가 0) __getitem__이 다음과 같은 에러를 발생시키고 있음을 확인했습니다.

news_corpus.train[0]
Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "/Users/david/works/Korpora/Korpora/korpus_modu_news.py", line 86, in __getitem__
    self.document_ids[index],
IndexError: list index out of range

아울러 같은 상황에서 news_corpus.train을 확인하면 다음과 같은 에러가 뜹니다.

news_corpus.train
Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "/Users/david/works/Korpora/Korpora/korpora.py", line 32, in __repr__
    return self.__str__()
  File "/Users/david/works/Korpora/Korpora/korpora.py", line 27, in __str__
    attributes += f'  - {self.name}.{var_name} : list[{var[0].__class__.__name__}]\n'
IndexError: list index out of range

따라서 root_dir_or_paths에 있는 모든 파일들을 읽어오는 기존 로직을 타되, 경로 설정 등이 잘못되어 그 내용이 전혀 로드되지 않을 경우에 해당하는 방어 로직을 추가하는 것이 어떨까 합니다.

[lovit]

위의 커밋으로 파일이 발견되지 않았을 경우 메시지와 함께 exception 을 raise 하였습니다.

[ratsgo]

테스트해보니 raise가 이상없이 잘 동작하네요!
고생 많으셨습니다.