全球主机交流论坛

标题: 张少涵教程：Python词云制作——以HOH言论为例 [打印本页]

作者: 张少涵 时间: 2023-12-26 15:34
标题: 张少涵教程：Python词云制作——以HOH言论为例
本帖最后由张少涵于 2023-12-26 19:45 编辑

词云是对文本内容进行可视化呈现的一种方式，它会对文本中出现频率较高的词进行视觉上的突出，词语出现的频率越高，字体就会越大，颜色也会越醒目。通过查看词云图，我们能快速获取文本中的主要内容。(摘抄自 https://cloud.tencent.com/developer/article/2160340)

1. 首先需要HOH的历史发言，使用爬虫可以得到。放入附件中了，需要的人可以自行下载。

2. 安装所需的pip包

pip install wordcloud # 主包，会自动安装多个绘图所需的包
pip install jieba # 汉字分词

复制代码

3. 下载中文字体包
GitHub上已经有人提供了，https://raw.githubusercontent.com/StellarCN/scp_zh/master/fonts/SimHei.ttf，可以直接下载
可以使用wget等下载，如

wget https://raw.githubusercontent.com/StellarCN/scp_zh/master/fonts/SimHei.ttf

复制代码

4. 主程序
要注意文件的路径，HOH的废话太多了，有很多无意义的内容，所以使用了屏蔽词功能。

import matplotlib.pyplot as plt
import jieba
from wordcloud import WordCloud, STOPWORDS
path = r'./hoh.txt'
# 读取文本文件
with open(path, 'r', encoding='utf-8') as f:
text = f.read()
# 使用jieba进行分词
wordlist = jieba.cut(text, cut_all=False)
wl = " ".join(wordlist)
# 增加屏蔽词
STOPWORDS.update(['吧', '是', '我', '了', '有', '都', '不', '就', '还', '没', '的', '你', '在', '也', '这'])
# 创建WordCloud对象，使用SimHei.ttf中文字体
wc = WordCloud(font_path='./SimHei.ttf', background_color='white',
stopwords=STOPWORDS, max_font_size=200,
max_words=500, width=1920, height=1080)
# 生成词云
myword = wc.generate(wl)
# 显示词云
plt.imshow(myword)
plt.axis("off")
# plt.show()
wc.to_file(r'./wordcloud.png')

复制代码

进一步屏蔽了单个字，左下角有个大大的“反思”

作者: mjj小号 时间: 2023-12-26 15:36
前排支持

zsbd

作者: 蓝瘦香菇 时间: 2023-12-26 15:36
这是要做h2o评论生成器吗

作者: a1195992737 时间: 2023-12-26 15:38
给张少涵点赞

作者: 黑客 时间: 2023-12-26 15:39
没有反思?

作者: 张少涵 时间: 2023-12-26 15:39

蓝瘦香菇发表于 2023-12-26 15:36
这是要做h2o评论生成器吗

我尝试使用LORA微调llama2模型，确实可以做出来评论生成器，但是特别阴阳怪气，让人生理不适。可能是我还没有调整好。

作者: Nigel 时间: 2023-12-26 15:40
你跟张少涵是真爱啊，@HOH

作者: 张少涵 时间: 2023-12-26 15:41

黑客发表于 2023-12-26 15:39
没有反思?

有的，最右侧有个“反思”

作者: jy02201949 时间: 2023-12-26 15:42
HOH人呢

作者: 蓝瘦香菇 时间: 2023-12-26 15:42

张少涵发表于 2023-12-26 15:39
我尝试使用LORA微调llama2模型，确实可以做出来评论生成器，但是特别阴阳怪气，让人生理不适。可能是我还 ...

哈哈，可以可以，再训练训练

作者: mdd 时间: 2023-12-26 15:42
反思不是最大的我不是很认同

作者: 科比牢大 时间: 2023-12-26 15:46
给我董国泰也搞一个

作者: 张少涵 时间: 2023-12-26 15:48

科比牢大发表于 2023-12-26 15:46
给我董国泰也搞一个

有没有链接，我可以爬一下言论，程序都是现成的

作者: 三不 时间: 2023-12-26 15:50
帅哥，给我生一个，想看看我在loc说的最多是啥？来这里好几年了

作者: Nichne 时间: 2023-12-26 15:53
技术贴绑定给外卖仔鲍勃也上个

作者: feile 时间: 2023-12-26 15:54

可以可以，不错的技术贴，HOH快快出来

作者: 张少涵 时间: 2023-12-26 15:54

三不发表于 2023-12-26 15:50
帅哥，给我生一个，想看看我在loc说的最多是啥？来这里好几年了

我来改一下程序，晚上跑一下爬虫，明天给你出图

作者: sasha 时间: 2023-12-26 16:02
弄一下董国泰的看看

作者: 机长 时间: 2023-12-26 16:05
别人拉屎你还要收集起来研究下什么成分

作者: koraori 时间: 2023-12-26 16:19
这个不错，学了

作者: 张麻子 时间: 2023-12-26 16:20
反思不是最大的我不理解

作者: iww 时间: 2023-12-26 16:45
@HOH

作者: Fix 时间: 2023-12-26 17:04
不懂，这是缅怀逝者的一种方式吗，有点不尊重人了

作者: acm 时间: 2023-12-26 18:35
介词都不去一下的吗

作者: bugrun 时间: 2023-12-26 18:36
少了爬取评论教程

作者: 三丫的 时间: 2023-12-26 18:39
已经有H2O语录了

作者: 张少涵 时间: 2023-12-26 19:32

bugrun 发表于 2023-12-26 18:36
少了爬取评论教程

这个肯定不能给，随便改一下就是自动发贴机和AI回复了

作者: 董国泰 时间: 2023-12-26 19:38
我董国泰也想被扒
https://hostloc.gdisk.cf/space-uid-22560.html

作者: 张少涵 时间: 2023-12-26 19:47

三不发表于 2023-12-26 15:50
帅哥，给我生一个，想看看我在loc说的最多是啥？来这里好几年了

你的关键词全是黄和买卖东西

作者: 张少涵 时间: 2023-12-26 19:49

董国泰发表于 2023-12-26 19:38
我董国泰也想被扒
https://hostloc.gdisk.cf/space-uid-22560.html

在跑了，爬虫频率小，估计明天会有结果。

作者: idnew 时间: 2023-12-26 19:52
有误差，提取的都是常用起手式。
一般大家给出的结论或点睛之笔频率本来就不会高。

作者: Phyton 时间: 2023-12-26 19:53
磕到了磕到了

作者: JustForFun 时间: 2023-12-26 19:59
哈哈哈哈好活

作者: HOH 时间: 2023-12-26 20:00
毫无意义屁用没有

作者: 张少涵 时间: 2023-12-26 20:32

acm 发表于 2023-12-26 18:35
介词都不去一下的吗

主要是HOH的评论有一大半都是废话，分词之后就不剩下多少了，再过滤的话，就没内容了。

作者: 法外狂徒张三 时间: 2023-12-27 01:23
反思，蚌

作者: 张少涵 时间: 2023-12-27 09:58

科比牢大发表于 2023-12-26 15:46
给我董国泰也搞一个

搞好了，不得不说，这个人的信息量很大，比HOH的废话强多了

作者: 张少涵 时间: 2023-12-27 09:59

董国泰发表于 2023-12-26 19:38
我董国泰也想被扒
https://hostloc.gdisk.cf/space-uid-22560.html

搞好了，信息量巨大

作者: 三不 时间: 2023-12-27 12:24

张少涵发表于 2023-12-26 19:47
你的关键词全是黄和买卖东西

谢谢帅哥，这就很符合我的评论了。

欢迎光临全球主机交流论坛 (https://hostloc.gdisk.cf/)