Releases: Tongjilibo/bert4torch
Releases · Tongjilibo/bert4torch
稳定版本v0.2.4
增加deberta_v2模型
稳定版本v0.2.3
虚拟对抗VAT在多个ouput时支持指定,把Trainer抽象到torch4keras中,修复DP和DDP出现resume_epoch不存在的bug, tokenizer的never_split去除None, transformer_xl的bug, 增加gradient_checkpoint
稳定版本v0.2.2
修复t5的norm_mode问题,允许hidden_size不整除num_attention_heads, 支持多个schedule(如同时ema+warmup)
稳定版本v0.2.1
兼容torch<=1.7.1的torch.div无rounding_mode, 增加自定义metrics,支持断点续训,增加默认Logger和Tensorboard日志
稳定版本v0.2.0
兼容torch<1.9.0的缺失take_along_dim,修复bart中位置向量514的问题,修复Sptokenizer对符号不转换,打印Epoch开始的时间戳,增加parallel_apply
稳定版本v0.1.9
v0.1.9
稳定版本v0.1.8
v0.1.8版本,修复了crf,xlnet等bug,目前测下来是稳定版本