Lyricist

基于Tensorflow、Seq2Seq、Bahdanau注意力机制的 中文歌词生成研究

训练数据集来自我收集整理的中文歌词数据库: https://github.com/dengxiuqi/ChineseLyrics
基于Pytorch和Luong注意力的另一个项目: https://github.com/dengxiuqi/Lyricist-torch

方法

• 采用Seq2Seq模型, 输入上句或歌名直接生成下句。反复将生成的下句输入网络, 循环往复, 可以得到整首歌曲
• 注意力机制使用的是Bahdanau Attention, 在解码器生成下句的时候, 会根据当前语境信息对上文的一些词汇进行重点关注
• 对词语的向量化编码采用的是提前训练好的Word2Vec模型
• 在测试阶段只展示了根据上句生成下句单个词语的阶段, 如需生成完整歌词, 只需循环进行此步骤即可

工程

Lyricist-tensorflow
│── data 数据集
│　　│── songs_cut.json 分词后的歌词数据
│　　│── words.json 歌词数据库词典
│　　` ── word2vec.txt word2vec数据, 请从 https://pan.baidu.com/s/1h_7P7Iypv9HAQAJPayCkWw 下载
│── model 存放训练好的模型
│　　` ── ......
│── config.py 数据集合网络结构的一些参数
│── data.py 数据集处理
│── network.py 网络结构
│── train.py 训练
` ── test.py　测试

效果

根据不同上句生成下句单个词语的阶段

1

上句: 迎接早晨灿烂的阳光   
下句: 我的……  

上句	迎接	早晨	灿烂	的	阳光
注意力	0.20360762	0.3191696	0.14018247	0.09243581	0.24460447

生成的候选词: ['祖国', '阳光', '太阳', '新疆', '家庭']    

2

上句: 眼角留着你给的泪水  
下句: 我的……  

上句	眼角	留	着	你	给	的	泪水
注意力	0.29617822	0.0401211	0.09877114	0.15365875	0.07016596	0.12643187	0.21467307

生成的候选词: ['眼角', '眼泪', '心里', '心碎', '泪水']    

3

上句: 我在黑夜之中寻找出口  
下句: 我的……  

上句	我	在	黑夜	之中	寻找	出口
注意力	0.129262	0.08518599	0.46715733	0.09963258	0.09444849	0.12431359

生成的候选词: ['迷惘', '孤独', '寂寞', '黑夜', '星光']    

4

上句: 给我甜蜜笑容  
下句: 我的……  

上句	给	我	甜蜜	笑容
注意力	0.15871677	0.16507187	0.32744813	0.34876317

生成的候选词: ['爱人', '人生', '快乐', '美梦', '小']