Skip to content

Commit

Permalink
更新两个 LLM 进展
Browse files Browse the repository at this point in the history
  • Loading branch information
chenryn authored Jul 27, 2023
1 parent 5ab4092 commit a68273a
Showing 1 changed file with 2 additions and 0 deletions.
2 changes: 2 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -114,6 +114,8 @@ AIOps 的论文、演讲、开源库的汇总手册。按照[《企业AIOps实

* 北航发表的 LogQA 论文,利用 [T5 大模型](https://huggingface.co/iarfmoose/t5-base-question-generator),和手工标记生成的[训练数据](https://github.com/LogQA-dataset/LogQA/tree/main/data),实现了对日志的自然语言问答:<https://arxiv.org/pdf/2303.11715.pdf>
* 澳大利亚纽卡斯尔大学开源的 LogPPT 项目,利用 RoBERTa 大模型和 loghub 数据集。最有趣的点是 loghub 数据集中虽然 80G 日志但每类只有 2k 条有标签的。本论文思路正好就反向用 2k 有标签的做 prompt:<https://github.com/LogIntelligence/LogPPT>
* 香港中文大学发表的 LogDiv 论文,利用 GPT3 大模型,全面超过 LogPPT 的效果。并探讨了 ICL 方法用 5-shot 可能效果最佳:<https://arxiv.org/pdf/2307.09950.pdf>
* IBM 开源的 BERTOps 项目,利用 BERT 大模型,和一部分人工标记数据,尝试了日志领域的三个分类任务,日志格式分类、黄金信号分类,故障分类(不过这个库就是纯展示,跑不起来,train.sh 里的 pretrain.txt不存在,只给了清洗前的 annotation Excel 文件):<https://github.com/BertOps/bertops>
* 浙大/华为开源的 KTeleBERT 项目,综合知识图谱和 BERT 大模型,同时利用产品手册、设备告警日志和 KPI 异常进行通讯领域故障分析:<https://github.com/hackerchenzhuo/KTeleBERT>
* 微软发表的《Recommending Root-Cause and Mitigation Steps for Cloud Incidents using Large Language Models》论文,通过对微软内部4万个故障数据复盘,研究 GPT 模型对比 BERT 模型是否在故障诊断方面更有优势。大概的结论可以认为是:有优势,但依然没啥用。:<https://arxiv.org/pdf/2301.03797.pdf>

Expand Down

0 comments on commit a68273a

Please sign in to comment.