如何在GitHub下载源码并用pip安装，以及优化结巴分词自定义字典添加效率

1、github下载源码

[id_1171984639]

pip install jieba

2、拷贝测试代码测试

稍微修改了下文件路径方面的代码，路径如下

import time
import sys
sys.path.append("../")
import jieba
jieba.initialize()
# 输入需要分词的文件路径
url = "test/data/zrbzdz.txt"
content = open(url,"r",encoding='utf-8-sig').read()
t1 = time.time()
words = "/ ".join(jieba.cut(content))
t2 = time.time()
tm_cost = t2-t1
# 输出分词后的文件路径
log_f = open("test/data/output/1.log","wb")
log_f.write(words.encode('utf-8'))
log_f.close()
print('cost ' + str(tm_cost))
print(每秒传输的字节数为 %s 。 % (len(content)/tm_cost))

这边测试了5万多条标准地名地址数据

速度还是挺快的，大概只要13秒

结果有一些方面是不能让人满意的。因为这是地名地址数据，就像这里就存在问题。

下一步添加自定义字典

3、添加自定义字典

如果采用单个添加的方式，会感觉不太便利。可以使用 load_userdict 方法来添加。要是数据量比较大的话，这样做又会显得太慢。因此，直接将其添加到结巴分词自身的词库“dict.txt”里面就可以了。

github源码路径在这里

python安装路径在这里

（1）、打开把自己的字典添加进去就行，注意格式

词 词频 词性

我这边词频和词性大概写的

福基岗村 3 n

（2）、添加后保存 （3）、删除jieba.cache

每次执行脚本时，会有加载的 jieba.cache 路径的提示，我们首先要将其删除。

（4）、重新执行脚本

脚本未变但结果发生了改变，这表明我们自定义的字典起到了作用，并且可以一直将其他词的数据添加进去。