KGIN在SSLRec仓库和KGRec仓库在我的测试下差距过大

[Genius-pig]

SSLRec论文中的KGIN和KGRec差距其实没有这么大。

LastFM数据集在我第一轮epoch时，两者差距较大。

KGIN recall@10: 0.0076 recall@20: 0.0098 recall@40: 0.0124
KGRec recall@10: 0.0418 recall@20: 0.0562 recall@40: 0.0745 

我自己的数据集也差了10倍左右。
但是如果跑贵团队的KGRec，结果差距不大，基本和论文结果差不多。
但是如果用SSLRec仓库的KGIN结果差距就很大，下面还是在LastFM数据集上运行。

KGIN recall@20 0.05926699 (KGRec)
KGIN recall@20: 0.0098 (SSLRec)

[Disir1]

我跑DCRec也是这样， SSLRec结果Test set [recall@5: 0.0176 recall@10: 0.0249 recall@20: 0.0328 ]，原论文recall@1 : 0.0866 recall@5 : 0.2023 recall@10 : 0.2863 ndcg@1 : 0.0866 ndcg@5 : 0.1455 ndcg@10 : 0.1724

[yuh-yang]

@Genius-pig @Disir1

你好，感谢对我们工作的关注！

DCRec论文采用negative sampling 100的rank评估；在SSLRec中，所有模型统一采用all rank评估，因此两方结果是不可比较的。建议固定evaluation setting后进行同一条件下的性能比较。

[yuh-yang]

@Genius-pig

关于KGRec的性能，可以重点关注SSLRec中对于training sample采样方式的优化，此处实现应该和KGRec repo中的细节有所差别，可能是导致epoch 1性能变化的原因

[Genius-pig]

谢谢回复