cacheT5.py是其底层实现
demo.py是一个简单的演示demo
https://zhuanlan.zhihu.com/p/75796168 关于cache技术的介绍
总体来说cache是一种无损的提速方法，这个仓库主要开源我通过bert4keras实现的mt5版cache
测试环境是1660gpu和i5-9400Fcpu
cpu环境下512-512的输入输出
整体性能提升了四倍左右
cpu环境下768-768的输入输出
提速在九倍左右
gpu环境下512-512的输入输出
整体速度提升了两倍左右
gpu环境下768-768的输入输出
不难发现更长的输入输出能让加速比有所提升。
另外gpu和cpu的提速比差异较大，个人怀疑是并行能力导致的。不过笔者硬件知识堪忧，希望大佬指教