Google Colabで日本語テキスト推論を試す
含意関係認識（Recognizing Textual Entailment, RTE）または自然言語推論・テキスト推論(Natural Language Inference)は、以下の例のように、ある前提文に対して仮説文が推論できるか否かを判定する自然言語処理のタスクです。
前提文： 太郎は花子が山頂まで登っている間に、山頂まで登った。
仮説文： 太郎は花子が山頂まで登る前に、山頂まで登った。
正解ラベル： 含意 (entailment)
前提文： 太郎は花子が山頂まで登る前に、山頂まで登った。
仮説文： 太郎は花子が山頂まで登っている間に、山頂まで登った。
正解ラベル： 非含意 (neutral)
前提文： 太郎は花子が山頂まで登る前に、山頂まで登った。
仮説文： 太郎は花子が山頂まで登った後に、山頂まで登った。
正解ラベル： 矛盾 (contradiction)
JapaneseBERT_NLI.ipynb: TransformersライブラリのBERTとGoogle Colabを用いて日本語テキスト推論を試せるコードです。
JapaneseXLM_NLI.ipynb: TransformersライブラリのXLMとGoogle Colabを用いて日本語テキスト推論を試せるコードです。
ファインチューニング用の学習データがある場合は、一行目はタブ区切りでpremise, hypothesis, gold_labelと記述し、二行目以降にタブ区切りで前提文、仮説文、正解ラベル(entailment, contradiction, neutralの3値)が書かれたtrain.tsvファイルを用意して、Google Driveにアップロードしてください。 train.tsvのサンプル
Hitomi Yanaka hitomi.yanaka@riken.jp
Apache License