├── Model 模型文件夹
│ ├── FastText.py fastText算法,调用好接口
│ ├── NeuralBOW.py NBOW算法,可以作为base
│ ├── __init__.py __init__
│ ├── textCnn.py textCNN
│ └── textLstm.py textRnn,这里使用lstm
│ └── textDynamicRNN.py DynaicRnn,这里使用lstm
├── README.md
├── __init__.py
├── data
│ ├── fastTextData fastText对应的数据
│ │ ├── train_data 训练集
│ │ └── valid_data 测试集
│ └── pkl DNN对应的处理好的数据
│ ├── test.pkl DNN对应的测试集
│ └── train.pkl DNN对应的训练集
├── data.tar 源数据
├── preprocess.py 预处理数据,将源文本数据处理成NN和fastText所需要的特征
NNfeature NNfeature
fastTextfeature fastText特征
DynamicRnnfeature DynamicRnn特征
└── train.py 训练模型,将每个NN模型对应训练测试过程封装成类
NeuralBowTrain 训练NeuralBow
textCnnTrain 训练textCnn
textRnnTrain 训练textRnn
train_step 函数化的train过程
dev_step 函数化的dev过程
└── dynamicRnnTrain.py 训练DynamicRNN,将每个NN模型对应训练测试过程封装成类
'''
文本采用压缩包里面的文档,运行代码之前需要解压文件夹
解压之后的文件夹名称: data/context
执行过程:
先执行PreProcess.py
再执行train.py
代码中的参数为不走心设置,可以自行进行调参
包括epoches,mini batch大小,学习率和每个模型对应的模型参数等
后续工作:
加入多层LSTM,dynamic_rnn,attention机制
加入项目:
neural machine translate
-
Notifications
You must be signed in to change notification settings - Fork 31
CementMaker/cnn_lstm_for_text_classify
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
CNN, LSTM, NBOW, fasttext 中文文本分类
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published