Skip to content

Latest commit

 

History

History
50 lines (29 loc) · 3.1 KB

2021CCL-“小牛杯”图文多模态幽默识别评测.md

File metadata and controls

50 lines (29 loc) · 3.1 KB

2021CCL-“小牛杯”图文多模态幽默识别评测

  • 任务简介:

    • 梗图(Meme)由图片和对应的文本组成,以图文结合的方式形成幽默效果,其中文本一般是对图片的注释或曲解。本次评测基于Meme数据集进行图文多模态幽默识别,包含两个任务。任务一:Meme幽默程度比较;任务二:Meme幽默等级划分。
    • 官网:http://cips-cl.org/static/CCL2021/cclEval/humorcomputation/index.html
  • 时间:2021.4~2021.7

  • 数据示例

    任务一:Meme幽默程度比较 :本任务要求参赛系统对给定的两个Meme进行幽默程度的比较,从中选出两者中更幽默的Meme。

    Meme幽默程度比较

    任务二:Meme幽默等级划分:要求参赛系统对给出的单个Meme进行分析,预测该Meme的幽默等级。

    Meme幽默等级划分

  • 数据说明

    注:两者训练集相同

    数据集 任务一 任务二 下载
    训练集 3000 3000
    A榜测试集 500 500
    B榜测试集 1000 1000
  • 竞赛方案

    最终指标=任务一F1 + 任务二F1

    方案 汇报题目 指标 代码
    4 (2:38:24~2:58:30) 一种基于预训练模型的多模态幽默识别方法,韩超(云南大学) 1.130 ×
    5 (2:59:05~3:10:30) 基于Transformer编码器的多模态幽默识别方法,李振(哈尔滨工业大学) 1.090 ×
    6 (3:31:10~3:44:10) 一种基于Bert模型的幽默识别方法,吴绍武(南方科技大学) 0.995 ×
    3 (3:11:25~3:29:30) 多预训练模型集成的数据增强图文幽默识别,耿源羚(大连理工大学) 1.198 ×
    2 (3:44:50~4:01:30) 一种基于多模态集成学习的幽默识别方法,陈佳豪(好未来) 1.308 ×
    1 (4:02:00~4:21:20) A Simple Approach for Humor Classification on Memes using Transfer Learning,陈雨涛(北京理工大学) 1.403 ×
  • 推荐资料

    评测总结(2:29:40~2:37:40)