使用jieba快速提取文章关键词

说到快速提取文章关键词，我在网上百度了下，推荐的方法基于两种，基于统计的关键词提取方法和基于机器学习的关键词提取方法。
基于统计的关键词提取方法，是根据统计信息，如词频，来计算得到文档中词语的权重，按权重值排序提取关键词，相关的算法有TF-IDF和TextRank。
基于机器学习的关键词提取方法，是通过向量距离来计算得到关键词的，相关方法有SVM、朴素贝叶斯等有监督学习方法，以及K-means、层次聚类等无监督学习方法。
当然，这些不是本篇文章要讲的，因为要想用这些方法，需要先学习这些方法的原理，而学习这些原理时，没有一定的数学知识或机器学习知识，没那么快就能理解，那怎么办呢？
不用担心，已经有人替我们这些小白做好了，那就是中文分词最好的一个组件——jieba。
没错，jieba不仅可以用来分词，他现在还支持了提取关键词，下面简单介绍下jieba的功能。

什么是Jieba

jieba是一个中文分词组件，使用python实现的，其中文名叫“结巴”。

功能

分词

分词模式

目前jieba支持以下几种分词模式：

• 精确模式，试图将句子最精确地切开，适合文本分析；
• 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
• 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
• paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本，请升级jieba，pip install jieba --upgrade 。PaddlePaddle官网

语法

• jieba.cut 
  • 参数
    • 需要分词的字符串
    • cut_all 参数用来控制是否采用全模式
    • HMM 参数用来控制是否使用 HMM 模型
    • use_paddle 参数用来控制是否使用paddle模式下的分词模式，paddle模式采用延迟加载方式，通过enable_paddle接口安装paddlepaddle-tiny，并且import相关代码
  • 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)
• jieba.cut_for_search 
  • 参数
    • 需要分词的字符串
    • HMM 是否使用 HMM 模型。
  • 该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• jieba.lcut 以及 jieba.lcut_for_search 参数与上面两个参数一致，但可直接返回 list
• jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。
• 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8

示例

# encoding=utf-8
import jieba

jieba.enable_paddle()# 启动paddle模式。 0.40版之后开始支持，早期版本不支持
strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]
for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】：他, 来到, 了, 网易, 杭研, 大厦    (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)

【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

自定义词典

载入词典

我们可以使用自定义的词典，让jieba分词更准确，使用方法很简单，分词前加载自定义词典即可。

 # file_name 为文件类对象或自定义词典的路径
 jieba.load_userdict(file_name)

这个自定义的词典可以是一个txt文本，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。
file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
示例如下

创新办 3 i
云计算 5
凱特琳 nz
台中

调整词典

• add_word(word, freq=None, tag=None) 动态添加词典
• del_word(word) 动态删除词典
• suggest_freq(segment, tune=True) 调节单个词语的词频，使其能（或不能）被分出来。
• 注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
  上面两个方法add_word/del_word和suggest_freq效果其实差不多，下面是示例

# suggest_freq的使用
# 使用suggest_freq将一个词调整词频后，将其拆分开两个字
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))  # 使用默认词典进行分词
如果/放到/post/中将/出错/。
>>> jieba.suggest_freq(('中', '将'), True)  # 调整'中', '将'的词频
494
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))  # '中', '将'词频调整后分词，两个词拆分开了
如果/放到/post/中/将/出错/。

# 使用suggest_freq将一个词调整词频后，将其合并
>>> print('/'.join(jieba.cut('若黯夜终临，吾必立于万万人前！横刀向渊！血染天穹！', HMM=False)))  # 使用默认词典进行分词
若/黯/夜/终/临/，/吾/必/立于/万万/人/前/！/横刀/向/渊/！/血染/天穹/！
>>> jieba.suggest_freq('台中', True)  # 调整'黯','夜'的词频
1
>>> print('/'.join(jieba.cut('若黯夜终临，吾必立于万万人前！横刀向渊！血染天穹！', HMM=False))) # 再分词，'黯夜'和在一起了
若/黯夜/终/临/，/吾/必/立于/万万/人/前/！/横刀/向/渊/！/血染/天穹/！


# add_word和del_word的使用
# 使用del_word将一个词拆分
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))  # 使用默认词典进行分词
如果/放到/post/中将/出错/。
>>> jieba.del_word('中将')  # 动态删除词典
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))  # 再次分词
如果/放到/post/中/将/出错/。


# 使用add_word将一个词合并
>>> print('/'.join(jieba.cut('若黯夜终临，吾必立于万万人前！横刀向渊！血染天穹！', HMM=False)))  # 使用默认词典进行分词
若/黯/夜/终/临/，/吾/必/立于/万万/人/前/！/横刀/向/渊/！/血染/天穹/！
>>> jieba.add_word('黯夜')  # 动态添加词典
>>> print('/'.join(jieba.cut('若黯夜终临，吾必立于万万人前！横刀向渊！血染天穹！', HMM=False)))  # 再次分词
若/黯夜/终/临/，/吾/必/立于/万万/人/前/！/横刀/向/渊/！/血染/天穹/！

词性标签

上面说的词性，可以参考下表

标签	含义	标签	含义
n	普通名词	f	方位名词
nr	人名	ns	地名
nz	其他专名	v	普通动词
a	形容词	ad	副形词
m	数量词	q	量词
c	连词	u	助词
PER	人名	LOC	地名
标签	含义	标签	含义
s	处所名词	t	时间
nt	机构名	nw	作品名
vd	动副词	vn	名动词
an	名形词	d	副词
r	代词	p	介词
xc	其他虚词	w	标点符号
ORG	机构名	TIME	时间

关键词提取

这就是我们今天要说的主题，jieba直接做好了关键词提取的算法，并且支持TF-IDF和TextRank两种算法。

导入包

import jieba.analyse

基于 TF-IDF 算法的关键词抽取

• jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()) 直接在sentence中基于TF-IDF算法提取关键词
  • sentence 为待提取的文本
  • topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
  • withWeight 为是否一并返回关键词权重值，默认值为 False
  • allowPOS 仅包括指定词性的词，默认值为空，即不筛选，词性参考上面的词性表
• jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件
•  jieba.analyse.set_idf_path(file_name) 关键词提取使用的逆向文件频率（IDF）文本语料库切换成自定义语料库的路径
•  jieba.analyse.set_stop_words(file_name) 关键词提取使用的停止词（Stop Words）文本语料库切换成自定义语料库的路径

基于 TextRank 算法的关键词抽取

• jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接在sentence中基于TextRank算法提取关键词
  • sentence 为待提取的文本
  • topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
  • withWeight 为是否一并返回关键词权重值，默认值为 False
  • allowPOS 仅包括指定词性的词，默认值为空，即不筛选，词性参考上面的词性表
• jieba.analyse.TextRank() 新建自定义 TextRank 实例

jieba除了上面几个常用的功能外，还支持词性标注、并行分词、查找词语起止位置、ChineseAnalyzer搜索引擎、命令行分词等功能，详细的可参见jieba的官网GitHub - fxsjy/jieba: 结巴中文分词

实战

安装jieba

安装jieba很方便，直接 pip install jieba 即可安装，当然也支持半自动和手动安装，参见官网

应用

那么了解了jieba的功能，下面我们实战下，我选取了我之前写的一篇文章【Scrapy】Scrapy教程2——工作原理 | 古月半部落格，将其保存成txt或Markdown格式。然后我们新建个python文件，写入以下代码。

import jieba
import jieba.analyse

# 提取文章
with open("【Scrapy】Scrapy教程2——工作原理.md", 'r', encoding='utf-8') as f:
    s = f.read() 

# TF-IDF
keywords_tf = jieba.analyse.extract_tags(s, topK=5, withWeight=False, allowPOS=())
print(f"基于TF-IDF提取的关键词：{keywords_tf}")

# TextRank
keywords_tr = jieba.analyse.textrank(s, topK=5, withWeight=False)
print(f"基于TextRank提取的关键词：{keywords_tr}")

运行后，会看到如下输出

>>> 基于TF-IDF提取的关键词：['爬虫', '引擎', '中间件', '请求', '下载']
>>> 基于TextRank提取的关键词：['引擎', '爬虫', '下载', '请求', '处理']

这样我们就提取好关键词了，和我们的文章主题基本不差，效果还是不错的，不过感觉TF-IDF提取的更好一些。