使用 Python 计算词频

词频统计是自然语言处理中常见的任务，可以对文本中每个词的频率进行统计，从而理解文本的关键词。 Python 的字符串处理能力和对第三方模块的支持使实现词频统计变得容易。 对于新手来说，学习习词频统计不仅可以掌握文本分析技能，还可以加深对Python语言的理解。

本文将通过在 Python 中实现一个简单的词频统计应用程序，向您介绍如何使用 Python 进行词频统计。

要实现词频统计，首先需要准备一篇课文，这里我们以网络上的一篇英文文章为例。 您可以使用 requests 模块获取文章的内容并将其保存在本地。

import requests

url = ""

resp = requests.get(url)

text = resp.text

with open("python.txt", "w") as f:

f.write(text)

with open("python.txt") as f:

text = f.read()

text = text.lower()

text = re.sub(r'\w+', ' ', text)

text = re.sub(r'\d+', ' ', text)

接下来，您需要分割文本并提取所有单词。 这里我们使用 python 内置模块 RE 中的正则表达式进行分词化。

words = re.split(r'\s+', text)

使用单词列表，可以计算每个单词的出现次数。 在这里，我们使用字典来保存单词以及它们出现的次数。

word_counts = {}

for word in words:

if word in word_counts:

word_counts[word] += 1

else:word_counts[word] = 1

最后，我们利用词频字典中的数据对词频进行排序，输出最终结果。

word_counts = sorted(word_counts.items(),key=lambda x:x[1], reverse=true)

for word, count in word_counts:

print("{} ".format(word, count))

1.获取并清理文本。

2.分词提取单词。

3.计算每个单词的出现次数。

4.按词频排序并输出结果。

如果想获得更好的分词效果，可以使用jieba等中文分词，或者nltk、spacy等英文分词工具。 还可以使用 pandas、numpy 等库优化统计过程。

从上面的例子可以看出，Python语言提供了非常方便的数据处理能力，通过结合正则表达式、字典、排序算法等语言特性，我们可以轻松实现词频统计等文本分析任务。 适当的函数和循环抽象也使其更加简洁和易于阅读。

希望本文能帮助刚接触Python的新手看到Python在自然语言处理领域的简单应用，感受Python作为胶水语言的魅力。 同时，也可以认识到，我们日常生活中的许多任务，包括文本分析和数据处理，都可以使用Python轻松实现。

#python#