读书笔记 | 《Python自然语言处理实战：核心技术与算法》| (1)

发表于 更新于 分类于 本文字数： 27k 阅读时长 ≈ 25 分钟
NLP基础、中文分词技术
NLP基础 自然语言处理 (Natural Language Processing，NLP)

NLP基本分类

音系学：指代语言中__发音__的系统化组织。 词态学：研究__单词构成__以及相互之间的关系。 句法学：给定文本的哪部分是__语法__正确的。 语义学：给定文本的__含义__是什么？ 语用学：文本的__目的__是什么？ 语言理解涉及语言、语境和各种语言形式的学科。 而自然语言生成（Natural Language Generation,NLG)恰恰相反，从结构化数据中以读取的方式自动生成文本。
该过程主要包含三个阶段：文本规划（完成结构化数据中的基础内容规划）、语句规划（从结构化数据中组合语句来表达信息流）、实现（产生语法通顺的语句来表达文本）。

NLP 研究任务

机器翻译：计算机具备将一种语言翻译成另一种语言的能力。 情感分析：计算机能够判断用户评论是否积极。 智能问答：计算机能够正确回答输入的问题。 文摘生成：计算机能够准确归纳、总结并产生文本摘要。 文本分类：计算机能够采集各种文章，进行主题分析，从而进行自动分类。 舆论分析：计算机能够判断目前舆论的导向。 知识图谱：知识点相互连接而成的语义网络。

NLP 基本术语

1. 分词（segment）

2. 词性标注（part-of-speech tagging）

对词的词性标注，词性：动词、名词、形容词等，例如：我/r爱/v北京/ns天安门/ns。其中，ns代表名词，v代表动词，ns、v
都是标注，以此类推。

3. 命名实体识别（NER,Named Entity Recognition)

命名实体指从文本中识别出具有特定类别的实体（通常名词），例如人名、地名、机构名、专有名词等。

4. 句法分析（syntax parsing)

5. 指代消解（anaphora resolution)

6. 情感识别（emotion recognition)

7. 纠错（correction)

8. 问答系统（QA system)

中文分词技术

规则分词

缺点：词典难维护 机器分词，通过维护词典，在切分语句时，与词典中的词逐一匹配，找到则切分，否则不切分。 按匹配切分方式分：
    正向最大匹配法（Maximum Match Method, MM法） 逆向最大匹配法（Reverse Maximum Match Method，RMM法） 双向最大匹配法（Bi-directction Matching method）
逆向最大匹配法 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
class IMM(object):
    
    def __init__(self, dic_path):
        self.dictionary = set()
        self.maximum = 0
        # 读取词典
        with open(dic_path, 'r', encoding='utf8') as f:
            for line in f:
                line =  line.strip()
                if not line:
                    continue
                self.dictionary.add(line)
                if len(line) > self.maximum:
                    self.maximum = len(line)

    def cut(self, text):
        result = []
        index = len(text)
        while index > 0:
            word = None
            for size in range(self.maximum, 0, -1):
                if index - size < 0:
                    continue
                piece = text[(index - size):index]
                if piece in self.dictionary:
                    word = piece
                    result.append(word)
                    index -= size
                    break
            if word is None:
                index -= 1
        # 数组逆序: 取从后向前的元素
        return result[::-1]

print('完成')
1
2
3
4
5
6
7
8
9
text = "南京市长江大桥"
tokenizer = IMM('data/imm_dic.txt')

print(tokenizer.dictionary)

print(tokenizer.cut(text))

# {'长途跋涉', '百度', '长江', '我', '是', '啊', '南京市', '大桥', '他', '长江大桥', '你', '南京', '她'}
# ['南京市', '长江大桥']

统计分词

其主要思想是把每个词看做是由词的最小单位的各个字组成的，如果相连的字在不
同的文本中出现的次数越多，就证明这相连的字很可能就是一个词。因此我们就可以利
用字与字相邻出现的频率来反应成词的可靠度，统计语料中相邻共现的各个字的组合的
频度，当组合频度高于某一个临界值时，我们便可认为此字组可能会构成一个词语。 ​ 基于统计的分词，一般要做如下两步操作：
    建立统计语言模型。 对句子进行单词划分，然后对划分结果进行概率计算，获得概率最大的分词方式。这里就用到了统计学习算法，如隐含马尔可夫（HMM)、条件随机场（CRF)等。

语言模型

HMM 模型

​ 隐含马尔可夫模型（HMM)是将分词作为字在字串中的序列标注任务来实现的。其基本思路是：每个字在构造一个特定的词语时都占据着一个确定的构词位置（即词位）,现规定每个字最多只有四个构词位置：即B(词首）、M(词中）、E(词尾）和S(单独成词）,那么下面句子 1)的分词结果就可以直接表示成如 2)所示的逐字标注形式： 对比机械分词法，这些统计分词方法不需耗费人力维护词典，能较好地处理歧义和未登录词，是目前分词中非常主流的方法。 但其分词的效果很依赖训练语料的质量，且计算量相较于机械分词要大得多。

混合分词

先基于词典分词，再用统计分词方法辅助。 这样，能在保证词典分词准确率的基础上，对未登录词和歧义词有较好识别。

中文分词工具-Jieba

https://github.com/fxsjy/jieba Jieba分词结合了基于规则和基于统计这两类方法。对于未登录词，Jieba使用了基于汉字成词的HMM模型，采用了Viterbi算法进行推导。 Q&A 补充 参考 感谢帮助！ 《Python自然语言处理实战 核心技术与算法》涂铭、刘祥、刘树春 著