适用于中文分词的经济金融词典
该项目主要从各个不同的源头搜集经济、金融领域的专业词汇,主要包括如下几个方面的词汇:
- 经济学、金融学专业词汇
- 上市公司名称
- 一般公司的名称、简称
- 行业名称
- 金融产品名称
- 货物产品名称
其中各部分数据来源既有公开的网络爬虫获得的信息,也有私有数据中抽取的信息。 为了防止公开数据源网络压力过大,本项目会将整理好的数据存放在本仓库中供调用 。
其中各个文件功能如下:
- glossary.py 从 MBA智库百科 获取专业词汇名称,并记录在:
- sub_dics/glossary.txt:专业词汇名称
- stock_name.py 从 新浪财经 获取各只股票的名称、简称,并记录在:
- sub_dics/stock_name.txt:搜集到的股票名称、股票对应公司名称、公司简称、股票名称历史
- sub_dics/indus_name.txt:用于分类股票的行业名称
- gen_dict.py 将sub_dics文件夹下面的所有.txt文件整合为一个词典文件。
- functions.py 项目中需要使用的共同函数。
由于以上获取的词典的信息来源非常多,难以避免的词典文件会非常大,这有可能会影响分词的效率。如果需要一个更小的词典,以上所有文件(除库文件之外)都可以单独执行,并相应下载/爬取对应的文本文件至/sub_dics文件夹下面,生成词典的主文件gen_dict.py只会将sub_dics文件夹下面的所有.txt文件按照一定的规则整合为一个词典文件。
个人比较忙,更新较慢,如果感兴趣,一起来干。