Skip to content

Commit

Permalink
Merge pull request #142 from ko-nlp/pages-en
Browse files Browse the repository at this point in the history
Copied korean_comments.md from Korean version (#139)
  • Loading branch information
warnikchow authored Oct 25, 2020
2 parents 355ac99 + 16e25ab commit 868c780
Showing 1 changed file with 82 additions and 2 deletions.
84 changes: 82 additions & 2 deletions en-docs/corpuslist/korean_comments.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,6 +2,86 @@
sort: 2
---

# Korean Comment Corpus
# KcBERT 댓글 데이터

TBD
KcBERT 댓글 데이터는 beomi@github 님이 공개한 KcBERT 학습데이터입니다.
데이터 정보는 다음과 같습니다.

- author: beomi@github
- repository: https://github.com/Beomi/KcBERT
- size:
- train: 86,246,285 examples

## 1. 파이썬에서 사용하기

파이썬 콘솔을 실행한 뒤 말뭉치를 내려받고 읽어들일 수 있습니다.

### 말뭉치 다운로드

KcBERT 댓글 데이터를 로컬에 내려 받는 파이썬 예제는 다음과 같습니다.

```python
from Korpora import Korpora
Korpora.fetch("kcbert")
```

```note
기본적으로 사용자의 로컬 컴퓨터 루트 하위의 Korpora라는 디렉토리에 말뭉치를 내려 받습니다(`~/Korpora`). 다른 경로에 말뭉치를 다운로드 받고 싶다면
fetch 함수 실행시 `root_dir=custom_path`라는 인자를 추가하세요.
```

```tip
fetch 함수 실행시 `force_download=True`라는 인자를 줄 경우 해당 말뭉치가 이미 로컬에 있더라도 이를 무시하고 다시 내려 받습니다. 기본값은 `False`입니다.
```


### 말뭉치 읽어들이기

KcBERT 댓글 데이터를 파이썬 콘솔에서 읽어들이는 예제는 다음과 같습니다.
말뭉치가 로컬에 없다면 다운로드도 함께 수행합니다.

```python
from Korpora import Korpora
corpus = Korpora.load("kcbert")
```

다음과 같이 실행해도 KcBERT 댓글 데이터를 읽어들일 수 있습니다.
수행 결과는 위의 코드와 동일합니다.

```python
from Korpora import KcBERTKorpus
corpus = KcBERTKorpus()
```

위 코드 둘 중 하나를 택해 실행하면 `corpus`라는 변수에 말뭉치를 로드합니다.
`train`은 KcBERT 댓글 데이터의 train 데이터로 첫번째 인스턴스는 다음과 같이 확인할 수 있습니다.

```
>>> corpus.train[0]
우리에게 북한은 꼭 없애야 할 적일뿐
```

`get_all_texts`라는 메소드를 실행하면 KcBERT 댓글 데이터의 모든 text(질문)를 확인할 수 있습니다.

```
>>> corpus.get_all_texts()
```


## 2. 터미널에서 사용하기

파이썬 콘솔 실행 없이 바로 말뭉치를 다운받을 수 있습니다.
다음과 같이 실행하면 됩니다.

```bash
korpora fetch --corpus kcbert
```

```note
기본적으로 사용자의 로컬 컴퓨터 루트 하위의 Korpora라는 디렉토리에 말뭉치를 내려 받습니다(`~/Korpora`). 다른 경로에 말뭉치를 다운로드 받고 싶다면
터미널에서 fetch 함수 실행시 `--root_dir custom_path`라는 인자를 추가하세요.
```

```tip
터미널에서 fetch 함수 실행시 `--force_download`라는 인자를 줄 경우 해당 말뭉치가 이미 로컬에 있더라도 이를 무시하고 다시 내려 받습니다.
```

0 comments on commit 868c780

Please sign in to comment.