句子的相似度计算方法是什么？

[bigrat911]

比如，句子的向量表示为每个词的vector取平均，然后cos
或者用softcos、WMD之类？

[hailiang-wang]

• 使用词向量和编辑距离
• 根据词向量距离，采取梯度方式设置权重
• 采取平滑策略

[wuyang0329]

请问这个平滑策略的根据是什么呢，谢谢！

[hailiang-wang]

曲线形状

[wuyang0329]

还有两个问题想问一下您，您的代码中_flat_sum_array这个函数是将句子中各个词的词向量叠加吗？
还有nearby_levenshtein_distance这个函数是将两个句子计算出来的编辑距离做了归一化吗？

[fremcode]

请教一下，是我用法不对还是词库的问题，"舒服"的近义词为什么是"难受"？

[hailiang-wang]

计算依据非监督的word2vec, 是利用前后词作为特征，所以也会出现反义词的时候。使用机器学习会有准确率的问题，并不保证100%都是准确的近义词。

…

------------------ Cheers. Hai Liang Wang, CEO, Chatopera

------------------ Original ------------------ From: "fremcode"; Date: 2019年1月15日(星期二) 上午10:46 To: "huyingxi/Synonyms"; Cc: "Samurais"; "State change"; Subject: Re: [huyingxi/Synonyms] 句子的相似度计算方法是什么？ (#64) 请教一下，是我用法不对还是词库的问题，"舒服"的近义词为什么是"难受"？ — You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub, or mute the thread.

[AlexYoung757]

句子相似度比较每次得到的结果居然不一致。。。
第一次运行结果：
相似度：1.0
相似度：0.304
相似度：0.626

第二次运行结果：
相似度：1.0
相似度：0.326
相似度：0.635

第三次运行结果：
相似度：1.0
相似度：0.291
相似度：0.618

[luluyouyue]

为什么是词向量相似度和编辑距离相似度相乘而不是相加呢？

[NancyGu]

在这个问题下学到很多，我的理解是：
1- 用编辑距离和词向量相似度cos值相乘
cos起到方向上的修正作用
2-word2vec是根据上下文做推断，的确有无法区分同义词和反义词的问题
3-词权，我刚看到一种单个文档自适应设词权的方法
用的是词向量-文档中所有词池化后的向量 = 权重