中文医疗大模型的评估:
-
模型需要精准理解和合理推演医疗领域的术语和知识
-
模型须能基于医学公式进行计算和推导,准确把握患者症状,并提供恰如其分的专业临床诊疗知识
https://tianchi.aliyun.com/competition/entrance/532156/information
正常大模型评估的思路
{
"context": str,
"question": str,
"selection": [str1, str2, str3, str4],
"answer_choices": [str2, str4],
"sample_id": str,
"source": str
}
- context: 是指医学文本,部分题型无医学文本时请忽略。
- question: 是指题干问题。
- selection: 是指题干对应的候选文本项。
- answer_choices: 答案内容,来自于 selection 的一个或者多个。
- sample_id: 是指评测团队拟定的题号。
- source: 是指该题的来源途径,如执业医师真题、临床考验真题、医学专家自拟题。
可联系repo维护者