189 8069 5689
这篇文章主要介绍“怎么用Python编写一个拼写纠错器”，在日常操作中，相信很多人在怎么用Python编写一个拼写纠错器问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么用Python编写一个拼写纠错器”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
代码如下：
Python
# coding:utf-8
import re from collections import Counter
def words(text): return re.findall(r'\w+', text.lower())
# 统计词频 WORDS = Counter(words(open('big.txt').read()))
def P(word, N=sum(WORDS.values())): """词'word'的概率""" return float(WORDS[word]) / N
def correction(word): """最有可能的纠正候选词""" return max(candidates(word), key=P)
def candidates(word): """生成拼写纠正词的候选集合""" return (known([word]) or known(edits1(word)) or known(edits2(word)) or [word])
def known(words): """'words'中出现在WORDS集合的元素子集""" return set(w for w in words if w in WORDS)
def edits1(word): """与'word'的编辑距离为1的全部结果""" letters = 'abcdefghijklmnopqrstuvwxyz' splits = [(word[:i], word[i:]) for i in range(len(word) + 1)] deletes = [L + R[1:] for L, R in splits if R] transposes = [L + R[1] + R[0] + R[2:] for L, R in splits if len(R) > 1] replaces = [L + c + R[1:] for L, R in splits for c in letters] inserts = [L + c + R for L, R in splits for c in letters] return set(deletes + transposes + replaces + inserts)
def edits2(word): """与'word'的编辑距离为2的全部结果""" return (e2 for e1 in edits1(word) for e2 in edits1(e1)) |
函数correction(word)返回一个最有可能的纠错还原单词：
Python
>>>correction('speling') 'spelling' >>>correction('korrectud') 'corrected' |
该程序的4个部分：
1.选择机制：在Python中，带key的max()函数即可实现argmax的功能。
2.候选模型：先介绍一个新概念：对一个单词的简单编辑是指：删除(移除一个字母)、置换(单词内两字母互换)、替换(单词内一个字母改变)、插入(增加一个字母)。函数edits1(word)返回一个单词的所有简单编辑（译者：称其编辑距离为1）的集合，不考虑编辑后是否是合法单词:
Python
def edits1(word): """与'word'的编辑距离为1的全部结果""" letters = 'abcdefghijklmnopqrstuvwxyz' splits = [(word[:i], word[i:]) for i in range(len(word) + 1)] deletes = [L + R[1:] for L, R in splits if R] transposes = [L + R[1] + R[0] + R[2:] for L, R in splits if len(R) > 1] replaces = [L + c + R[1:] for L, R in splits for c in letters] inserts = [L + c + R for L, R in splits for c in letters] return set(deletes + transposes + replaces + inserts) |
这个集合可能非常大。一个长度为n的单词，有n个删除编辑，n?1个置换编辑，26n个替换编辑，26(n+1)的插入编辑，总共54n+25个简单编辑（其中存在重复）。例如：
Python
>>>len(edits1('something')) 442 |
然而，如果我们限制单词为已知(known，译者：即存在于WORDS字典中的单词)，那么这个单词集合将显著缩小：
Python
def known(words): """'words'中出现在WORDS集合的元素子集""" return set(w for w in words if w in WORDS)
>>>known(edits1('something')) ['something', 'soothing'] |
我们也需要考虑经过二次编辑得到的单词（译者：“二次编辑”即编辑距离为2，此处作者巧妙运用递归思想，将函数edits1返回集合里的每个元素再次经过edits1处理即可得到），这个集合更大，但仍然只有很少一部分是已知单词：
Python
def edits2(word): """与'word'的编辑距离为2的全部结果""" return (e2 for e1 in edits1(word) for e2 in edits1(e1))
>>> len(set(edits2('something')) 90902
>>> known(edits2('something')) {'seething', 'smoothing', 'something', 'soothing'}
>>> known(edits2('somthing')) {'loathing', 'nothing', 'scathing', 'seething', 'smoothing', 'something', 'soothing', 'sorting'} |
我们称edits2(w)结果中的每个单词与w的距离为2。
3.语言模型：我们通过统计一个百万级词条的文本big.txt中各单词出现的频率来估计P(w)，它的数据来源于古腾堡项目中公共领域的书摘，以及维基词典中频率最高的词汇，还有英国国家语料库，函数words(text)将文本分割为词组，并统计每个词出现的频率保存在变量WORDS中，P基于该统计评估每个词的概率：
Python
def words(text): return re.findall(r'\w+', text.lower())
# 统计词频 WORDS = Counter(words(open('big.txt').read()))
def P(word, N=sum(WORDS.values())): """词'word'的概率""" return float(WORDS[word]) / N |
可以看到，去重后有32,192个单词，它们一共出现1,115,504次，”the”是出现频率最高的单词，共出现79,808次(约占7%)，其他词概率低一些。
Python
>>> len(WORDS) 32192
>>> sum(WORDS.values()) 1115504
>>> WORDS.most_common(10) [('the', 79808), ('of', 40024), ('and', 38311), ('to', 28765), ('in', 22020), ('a', 21124), ('that', 12512), ('he', 12401), ('was', 11410), ('it', 10681), ('his', 10034), ('is', 9773), ('with', 9739), ('as', 8064), ('i', 7679), ('had', 7383), ('for', 6938), ('at', 6789), ('by', 6735), ('on', 6639)]
>>> max(WORDS, key=P) 'the'
>>> P('the') 0.07154434228832886
>>> P('outrivaled') 8.9645577245801e-07
>>> P('unmentioned') 0.0 |
4.错误模型：2007年坐在机舱内写这个程序时，我没有拼写错误的相关数据，也没有网络连接(我知道这在今天可能难以想象)。没有数据就不能构建拼写错误模型，因此我采用了一个捷径，定义了这么一个简单的、有缺陷的模型：认定对所有已知词距离为1的编辑必定比距离为2的编辑概率更高，且概率一定低于距离为0的单词（即原单词）。因此函数candidates(word)的优先级如下：
1. 原始单词（如果已知），否则到2。
2. 所有距离为1的单词，如果为空到3。
3. 所有距离为2的单词，如果为空到4。
4. 原始单词，即使它不是已知单词。
到此，关于“怎么用Python编写一个拼写纠错器”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联-成都网站建设公司网站，小编会继续努力为大家带来更多实用的文章！