v0.1.9

README.md

@@ -25,6 +25,7 @@ pip install git+https://www.github.com/Tongjilibo/bert4torch.git
 - [**实验指标**](https://github.com/Tongjilibo/bert4torch/blob/master/examples/Performance.md)
 
 ## 版本说明
+- **v0.1.9**：增加mixup/manifold_mixup/temporal_ensembling策略, 修复pgd策略param.grad为空的问题，修改tokenizer支持批量
 - **v0.1.8**：修复原来CRF训练中loss陡增的问题，修复xlnet的token_type_ids输入显存占用大的问题
 - **v0.1.7**：增加EarlyStop，CRF中自带转bool类型
 - **v0.1.6**：增加transformer_xl、xlnet、t5_pegasus模型，prompt、预训练等示例，支持增加embedding输入，EMA策略，修复tokenizer和sinusoid的bug
@@ -33,7 +34,7 @@ pip install git+https://www.github.com/Tongjilibo/bert4torch.git
 - **v0.1.3**：初始版本
 
 ## 更新：
-- **2022年7月27更新**：增加mixup/manifold_mixup策略, 修复pgd策略param.grad为空的问题，修改tokenizer支持批量，增加uie示例
+- **2022年7月27更新**：增加mixup/manifold_mixup/temporal_ensembling策略, 修复pgd策略param.grad为空的问题，修改tokenizer支持批量，增加uie示例
 - **2022年7月16更新**：修复原来CRF训练中loss陡增的问题，修复xlnet的token_type_ids输入显存占用大的问题
 - **2022年7月10更新**：增加金融中文FAQ示例，天池新闻分类top1案例，增加EarlyStop，CRF中自带转bool类型
 - **2022年6月29更新**：增加ner的实验，测试crf不同初始化的效果，bert-whitening中文实验

bert4torch/__init__.py

@@ -1,4 +1,4 @@
 #! -*- coding: utf-8 -*-
 
 
-__version__ = '0.1.8'
+__version__ = '0.1.9'

examples/README.md

@@ -89,6 +89,7 @@
 - [task_sentiment_UDA.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/training_trick/task_sentiment_UDA.py)：通过[UDA](https://arxiv.org/abs/1904.12848)半监督学习提升分类效果，在原来Losss上加一致性损失。
 - [task_sentiment_mixup.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/training_trick/task_sentiment_mixup.py)：通过[Mixup](https://github.com/vikasverma1077/manifold_mixup)提升模型泛化性能。
 - [task_sentiment_exponential_moving_average.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/training_trick/task_sentiment_exponential_moving_average.py)：EMA指数滑动平均
+- [task_sentiment_TemporalEnsembling.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/training_trick/task_sentiment_TemporalEnsembling.py)：通过[TemporalEnsembling](https://github.com/s-laine/tempens)[pytorch第三方](https://github.com/ferretj/temporal-ensembling)提升模型泛化性能。
 - [task_sentiment_R-Drop.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/training_trick/task_sentiment_R-Drop.py)：通过[R-Drop](https://github.com/dropreg/R-Drop)提升分类效果，可以视为用dropout加噪下的UDA。
 - [task_amp.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/training_trick/task_amp.py)：Pytorch的amp混合精度训练
 - [task_data_parallel.py](https://github.com/Tongjilibo/bert4torch/blob/master/examples/training_trick/task_data_parallel.py)：DataParallel模式的多GPU训练方式

setup.py

@@ -4,12 +4,12 @@
 
 setup(
     name='bert4torch',
-    version='0.1.8',
+    version='0.1.9',
     description='an elegant bert4torch',
     long_description='bert4torch: https://github.com/Tongjilibo/bert4torch',
     license='MIT Licence',
     url='https://github.com/Tongjilibo/bert4torch',
     author='Tongjilibo',
-    install_requires=['torch>1.0'],
+    install_requires=['torch>1.6'],
     packages=find_packages()
 )