Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

咨询下大佬个问题,以监督学习的方式训练网络的时候,训练样本貌似也放进了同batch的不是附近的节点,看监督学习训练的损失是直接用激活函数得到logit后得到损失,这样是不是不太那啥?是不是应该只用正样本吧(监督方式训练的时候) #25

Open
greenary-John opened this issue Oct 7, 2021 · 1 comment

Comments

@greenary-John
Copy link

如题,看您是哈工大我就没写英文

@GiorgioPeng
Copy link

发表一下个人拙见:

  1. 为了便于计算采用了定长的均匀采样作为领域(也就是采集到正负样本都有可能)
  2. 论文中的3.2部分所述损失函数是由两部分加起来的(目的是使得邻域嵌入表示尽可能相近,非领域【应该也就是负样本点】表示尽可能远),前半部分是一个点与其正样本(也就是邻接节点)的相似度,后半部分是一个点与其负样本(非邻接节点)的相似度的相反数。
  3. 不同点的邻域点数量不同处理很麻烦(输入就变成一个变长序列了),作者说未来工作可以研究如何使用非均匀采样,如果只采集正样本的话就变成了你说的这种方式。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants