update prompt

Stability-AI · Oct 3, 2023 · e1c2869 · e1c2869
1 parent 6ffac19
commit e1c2869
Showing 1 changed file with 4 additions and 5 deletions.
diff --git a/lm_eval/tasks/ja/jcola.py b/lm_eval/tasks/ja/jcola.py
@@ -30,9 +30,8 @@ class JCoLA(CoLA):
     CHOICES = {1: "はい", 0: "いいえ"}
 
     def doc_to_text(self, doc):
-        # 以下の日本語の文について、標準的な文法規則に従って、それが言語的に受け入れられるか（1）どうか、または受け入れられないか（0）のバイナリ分類（0または1）を提供してください。文法的に正しいかつ言語的に受け入れられる場合は、ラベルを1に割り当ててください。そうでない場合は、ラベルを0に割り当ててください。
         # "{}\nQuestion: Does this sentence make sense?\nAnswer:"
-        return "{}{}質問: この文は文法規則に則っていますか？{}答え:".format(
+        return "{}{}質問: この文は文法的ですか？{}答え:".format(
             doc["sentence"], self.SEP, self.SEP
         )
 
@@ -53,7 +52,7 @@ class JCoLAWithJAAlpacaPrompt(JCoLA):
     """
     PROMPT_VERSION = 0.3
     DESCRIPTION = "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。\n\n"
-    INSTRUCTION = f"与えられた文が文法規則に則っているかを回答してください。\n\n出力は以下から選択してください：\n" + "\n".join(list(JCoLA.CHOICES.values()))
+    INSTRUCTION = f"与えられた文が文法的であるかを回答してください。\n\n出力は以下から選択してください：\n" + "\n".join(list(JCoLA.CHOICES.values()))
 
     def doc_to_text(self, doc):
         """
@@ -78,7 +77,7 @@ class JCoLAWithRinnaInstructionSFT(JCoLA):
     - HF Hub: https://huggingface.co/rinna/japanese-gpt-neox-3.6b-instruction-sft
     """
     PROMPT_VERSION = 0.4
-    DESCRIPTION = "ユーザー: " + f"与えられた文が文法規則に則っているかを回答してください。出力は以下から選択してください：<NL>" + "<NL>".join(list(JCoLA.CHOICES.values())) + "<NL>システム: 分かりました。<NL>"
+    DESCRIPTION = "ユーザー: " + f"与えられた文が文法的であるかを回答してください。出力は以下から選択してください：<NL>" + "<NL>".join(list(JCoLA.CHOICES.values())) + "<NL>システム: 分かりました。<NL>"
     SEP = "<NL>"
     FEWSHOT_SEP = "<NL>"
 
@@ -93,7 +92,7 @@ class JCoLAWithRinnaBilingualInstructionSFT(JCoLAWithRinnaInstructionSFT):
     - HF Hub: https://huggingface.co/rinna/bilingual-gpt-neox-4b-instruction-sft
     """
     PROMPT_VERSION = 0.5
-    DESCRIPTION = "ユーザー: " + f"与えられた文が文法規則に則っているかを回答してください。出力は以下から選択してください：\n" + "\n".join(list(JCoLA.CHOICES.values())) + "\nシステム: 分かりました。\n"
+    DESCRIPTION = "ユーザー: " + f"与えられた文が文法的であるかを回答してください。出力は以下から選択してください：\n" + "\n".join(list(JCoLA.CHOICES.values())) + "\nシステム: 分かりました。\n"
     SEP = "\n"
     FEWSHOT_SEP = "\n"