【Hackathon + GradientCache】

[Zhiyuan-Fan]

PR types

PR changes

Description

    已完成gradient_cache策略，在batch_size==512,chunk_size==16的情况下，Recall@10 和 Recall@50分别为50.195 65.067；也可以进超大batch训练，已经测试batch_size==12800，显存占用符合要求。

[tianxin1860]

请和 Paper 对齐训练数据、评测方式、评测指标，精度对齐指标以论文当中汇报的指标为依据。

[tianxin1860]

本论文中使用的数据集和 DPR Paper 中使用的数据集是对齐的，可以参考 DPR 官方 Repo 的数据下载及数据处理。

[tianxin1860]

可以确认下 Gradient Cache Paper 细节，我理解 Gradient Cache 为了和 DPR 公平对比，除了训练策略不一致之外，其余部分例如: 训练数据、模型结构和 DPR 部分应该是完全一致的。

[tianxin1860]

我在阅读DPR源码的时候看到他们的bi-encoder用到了两个编码器：question_encoder和ctx_encoder，但是paddleNLP的example中的baseline和In-batch策略，Hardest策略的模型都只用到了一个编码器。想问下我是按照DPR的模型重新做还是按照我现在已经实现的基于baseline的模型？

GradientCache 复现的精度目标是和 Paper 中汇报的指标对齐，所以实现层面需要以 DPR Paper、Gradient Cache Paper 中的实现为准，不必局限于 PaddleNLP semantic_indexing 中已有算法的实现方式。

[TCChenlong]

@yingyibiao CodeStyle 是什么问题啊？大概通过什么方式解决呀？

[yingyibiao]

@yingyibiao CodeStyle 是什么问题啊？大概通过什么方式解决呀？

参考 https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/10_contribution/local_dev_guide_cn.html#pre-commit
添加 pre-commit

[tianxin1860]

DPR 和 GradientCache 算法和论文对齐数据、策略之后的指标可以提供一下，作为算法实现正确性判断的参考依据。

[Zhiyuan-Fan]

@tianxin1860 已完成基于paddleNLP的gradient_cache，除此之外，已完成google数据集Natural Question的读取和处理工具类（在文件NQdataset.py中），已完成DPR策略和基于gradient_cache策略的DPR训练（核心代码在biencoder_base_model.py和train_gradient_cache_DPR.py中），已测试最终结果，为85.032和83.021（测试一次耗时过长，故目前只测试了这两次）。

[w5688414]

@w5688414 有些空行删掉之后，代码风格检查的时候又自动加上了😭

好的，python 类加上注释，都检查一下

[w5688414]

train_dense_encoder.py在哪里？ data_path表示的是啥路径，请写详细一点，确保下载数据后，这些命令能够一键运行

[w5688414]

generate_dense_embedding 写的有问题，请确命令能够一键运行

[w5688414]

解释一下这些参数，并给出默认数据目录的路径，让用户一键运行

[Zhiyuan-Fan]

参数的解释就在{}里面，已经很清楚了，把需要的数据下载下来看看就一清二楚了。具体的路径是和上一步强相关的，得用户自己设置。

[w5688414]

请确保命令能够一键运行，比如 out_file等给出真实的路径，用户不需要指定就能一键运行。

[Zhiyuan-Fan]

@w5688414 这些路径我之前都是写死的啊，是你们review的时候让我改成现在这种格式的。

[w5688414]

@w5688414 这些路径我之前都是写死的啊，是你们review的时候让我改成现在这种格式的。

我在复现您的代码的时候发现了这个问题，体验不是很好；您应该理解的有问题，应该不是让您写成这种，比如数据就放在data目录下，然后请给出一个默认路径，让用户能够在不修改的情况下跑通，并且模型保存在另一个默认的目录下。请参考下面的命令：

python -u -m paddle.distributed.launch --gpus "0,1,2,3" \
    train_batch_neg.py \
    --device gpu \
    --save_dir ./checkpoints/ \
    --batch_size 64 \
    --learning_rate 5E-5 \
    --epochs 3 \
    --output_emb_size 256 \
    --save_steps 500 \
    --max_seq_length 64 \
    --margin 0.2 \
    --train_set_file semantic_pair_train.tsv \

[w5688414]

用 precommit检查一下代码风格

[w5688414]

LGTM

The changes has been revisied