test.py

from process_main import process, SegAndPunc, SEG_MODEL, PUNC_TAGS, PUNC_MODEL

processor = SegAndPunc(seg_model=SEG_MODEL, punc_model=PUNC_MODEL, punc_tags=PUNC_TAGS,
                       max_cut_batch=502,
                       max_sent_len=130)

data = "<div class=\"RichText ztext Post-RichText\">\n <p>对于罗杰克劳利和他的“地中海史诗三部曲”，早知大名，如今终于读罢，" \
       "感觉酣畅淋漓，克劳利让人激赏的不光是他的历史学识沉淀，更有精湛的文笔，当然，也要感谢译者的漂亮翻译，让这种文笔气质得以在中文版重现。" \
       "从君士坦丁堡陷落到地中海海洋混战，一直到威尼斯海洋霸权的史诗，其实这三本书的角度和视角并不一致，但是总有一种主题和精神气质贯穿始终，" \
       "基督文明和伊斯兰文明在地中海的碰撞，献上了交织着血与泪的史诗。</p>\n <p class=\"ztext-empty-paragraph\"><br></p>\n " \
       "<figure style=\"margin-left: 0px;margin-right: 0px\">\n  \n   <img src=\"https://pic2.zhimg.com/v2-63cc" \
       "0151b07dc27ec1265b18210952fd_b.jpg\" data-rawwidth=\"892\" data-rawheight=\"587\" class=\"origin_image zh" \
       "-lightbox-thumb\" width=\"892\" data-original=\"https://pic2.zhimg.com/v2-63cc0151b07dc27ec1265b18210952fd" \
       "_r.jpg\">\n  \n </figure>\n <p class=\"ztext-empty-paragraph\"><br></p>\n <p>尽管下笔聚焦点力度不同，但是克劳" \
       "利的视角一直从时间到空间上站得高，看的广，哪怕这个系列中聚焦点最为集中的《1453：君士坦丁堡之战》。围绕这次战役，克劳利做了足够的" \
       "铺垫，从君士坦丁堡的历次危局，到双方皇帝的背景与性格、气质，还有基督世界的分裂，技术进步对战争的改变，克劳利给予了大信息流，但是又" \
       "逻辑缜密顺畅的衔接。克劳利对战争进程的描写是其文笔技法中，我个人感觉最为出色的，从格局切换的应对自如，到战争细节的聚焦描写，都很有" \
       "代入感。在他的文字组织下，你既能感觉战争中英雄主义的光辉，又能体会到个体在战争中挣扎的血泪，比如对一次次攻城战，从双方对垒、" \
       "兵器使用、战斗细节都场面感十足，从大局到细节构成了一种战争史诗的效果。</p>\n <p class=\"ztext-empty-paragraph\"><br>" \
       "</p>\n <p>事实上，攻城战在克劳利的三部曲中，写了太多场，整套书，由于整体处于伊斯兰势力进攻，欧洲人防守的局面，所以整个氛围常常是" \
       "一群欧洲人，孤独抵抗强大的攻城军队的悲壮故事。通常，在第三方看来，守城一方容易得到更多同情，毕竟他们是在守卫家园，抵御入侵，而且通" \
       "常处于一种实力不对等的战争中，所以悲剧感也是扑面而来。而且，克劳利也特别注意将视角从激烈的攻城战现场，转移到基督文明的其它地域，往" \
       "往，这里的故事更加凸显守城军民的悲剧性命运。我们看到面对强敌，基督文明世界整体上一盘散沙，内斗严重，在增援决策上效率低下，相互推诿" \
       "，常常调子很高，却轻轻放下，这倒是与同样以信仰为名战斗，但是却整体形成高效战争机器的伊斯兰势力形成鲜明对比。也正是这样的背景下，克" \
       "劳利给了很多勇敢的，甚至自身前往被困城市的个体以更多笔墨，突出了这些人的英雄之举。</p>\n <p class=\"ztext-empty-paragrap" \
       "h\"><br></p>\n <figure style=\"margin-left: 0px;margin-right: 0px\">\n  \n   <img src=\"https://pic4.zhi" \
       "mg.com/v2-3186a2f38722e21c191e8322bebc77a7_b.jpg\" data-rawwidth=\"300\" data-rawheight=\"441\" class=\"co" \
       "ntent_image\" width=\"300\">\n  \n </figure>\n <p>但是，如果你认为克劳利站在西方视角，刻意强化这种悲壮就错了，克劳利对" \
       "当时的伊斯兰文明世界给予了充分客观的描写，从他们的治理结构，到科学、商业、文化的成就。比如君士坦丁堡之战，土耳其苏丹默罕默德二世" \
       "，在作者笔下就是一位年轻英武，谋断能力极强的君主。虽然他也时有暴虐之举，此后直到他死亡更是成为欧洲人的噩梦，但是在这场战役中，他" \
       "体现的更是一种坚韧和果决，在战后，尽管也有城市惨遭洗劫的悲剧（克劳利也在书中承认，在攻城洗劫上，欧洲人与之相比也是半斤对八两），但" \
       "是也是他及时制止，并将这座城市建设成为新的首都，继续其征伐之旅。而与他交战的君士坦丁十一世，一个史书上常常给予弱势刻画的人物，在本" \
       "书中也有了更加生动的形象，在那个特别时期，他的勇气与勇敢，直到最后坚守到死的壮举，都无愧为一个皇帝的荣耀。</p>\n <p class=\"zt" \
       "ext-empty-paragraph\"><br></p>\n <figure style=\"margin-left: 0px;margin-right: 0px\">\n  \n   <img src=\"ht" \
       "tps://pic3.zhimg.com/v2-b6529b2a2638cdc61b1c18aa8c90043a_b.jpg\" data-rawwidth=\"300\" data-rawheight=\"44" \
       "1\" class=\"content_image\" width=\"300\">\n  \n </figure>\n <p>当然，围绕地中海，主角还是海洋，正如君士坦丁堡被" \
       "攻陷后，对欧洲人的震动象征意义大于经济意义，此后，大航海时代逐步开始，让君士坦丁堡从地缘政治上的地位变得这真的更具象征意义。而大航" \
       "海时代的基础，正是地中海，这一文明交流与碰撞的“文明之湖”的长期航海历史所孕育。本系列的另外两部《海洋帝国》、《财富之城》更聚焦于" \
       "海上的战斗，在《海洋帝国》中，伊斯兰世界的几位海盗显得残暴，但是其统治力令人印象深刻，而基督文明显得松散但充满韧性的抵抗和反击，也" \
       "带来了几场悲壮的战役。而事实上，明知不可无而为之堪称悲壮，但当时的另一个现实却是基督文明下的一个个城市这样的“点”被攻击的时候，" \
       "整个基督文明的各方势力却无法形成一个“面”去支持，让这些抗争置身于一种明知可为却不为的孤独大背景下，这，又让人感觉是一场悲剧。</" \
       "p>\n <p class=\"ztext-empty-paragraph\"><br></p>\n <figure style=\"margin-left: 0px;margin-right: 0px\"" \
       ">\n  \n   <img src=\"https://pic2.zhimg.com/v2-38f6022c8d7c4e03337ec930c309bcd1_b.jpg\" data-rawwidth=\"" \
       "318\" data-rawheight=\"417\" class=\"content_image\" width=\"318\">\n  \n </figure>\n <p>《财富之城》聚焦威" \
       "尼斯共和国的历史，威尼斯共和国在地缘政治影响力上，从表面上，似乎有些后来的大不列颠王国、今天的美国的感觉，并不追求绝对的领土控" \
       "制，而是以经济利益为纽带进行征伐、怀柔与治理。但是，正如历史上对威尼斯人的脸谱化的不佳刻画一样，威尼斯的扩张却少了很多软实力的同步" \
       "跟进。第四次十字军东征可谓一个典型，作为威尼斯共和国扮演重要角色的东征，这是一次那个时期罕见的基督文明的强势进击，但是攻打的却是同" \
       "是基督文明下的君士坦丁堡。那时的威尼斯执政官丹多洛，确实堪称传奇人物，但是其身上也体现了那个时候威尼斯对外政策的特点：势利。是的，" \
       "不是“务实”，而是一种有时候到了见利忘义，目光短浅程度的“势利”，这种软实力的虚弱，也使得威尼斯共和国始终无法构筑强势的联盟，伴随着" \
       "时代的变迁，也只能走向衰落。</p>\n <p class=\"ztext-empty-paragraph\"><br></p>\n <figure style=\"margin-left: " \
       "0px;margin-right: 0px\">\n  \n   <img src=\"https://pic1.zhimg.com/v2-6c4b657d4dd526a1bc9bcfde9f7909ec_b.j" \
       "pg\" data-rawwidth=\"840\" data-rawheight=\"480\" class=\"origin_image zh-lightbox-thumb\" width=\"840\" da" \
       "ta-original=\"https://pic1.zhimg.com/v2-6c4b657d4dd526a1bc9bcfde9f7909ec_r.jpg\">\n  \n </figure>\n <p>地中海" \
       "史诗三部曲是一套可读性极强的历史读物，一种代入感极强，让你感觉可触摸的历史氛围营造之下，你可以体察那个时代的动荡与不安。曾经，" \
       "两个文明殊死搏斗，仿佛必须有一方被征服，但是我们发现，尽管那个时代伊斯兰势力咄咄逼人，基督教艰难抵抗，但是地理上的格局似乎也" \
       "就僵持在地中海周围，形成微妙的均衡。无疑，那是个让当时欧洲人容易感到绝望的时代，而今天，我们发现，尽管没有刀光剑影，相反，倒" \
       "是很多流离失所的中东难民由地中海的涌入，以及欧洲穆斯林人口比例的增加引发了新的争议和对未来的不安。这种不安，在规模不一，但" \
       "是明显更加频繁的发生于欧洲的恐怖袭击事件之下，显得更加真实。在此背景下，回顾曾经围绕地中海的那从文明冲突或许能给我们一些思" \
       "考的养料，至少，那段岁月之后，欧洲没有完蛋，倒是在融合中进入了大航海时代，形成了欧洲国家的一个世界性扩张的强势周期。历史并" \
       "不见得会重复，但是，我依然相信在不时发生的文明碰撞之中，伴随人类整体文明程度的提高，激烈程度会比以往降低，而在纠结与冲突中，" \
       "新的平衡总会达到，而置身其中的人，在今天也将有更多理性思考和行动的空间。 </p>\n <p></p>\n</div>"

data = process(data, processor=processor, log=True)

[print(x) for x in data]