本
文
摘
要
今天咋们来看看网易云赵雷的歌曲歌词,并做一个词云图。这篇文章可以学习到什么是词云,爬虫的基本流程,简单的可视化操作
一 什么是词云二 制作词云的步骤1 第一步收集需要可视化的内容。2 安装词云库3 介绍下jieba中文库和下面会用到的wordcloud常用参数4 科比词云图制作测试代码1三 案例 网易云歌手房东的猫词云图1 整体流程图2 爬取+词云制作
一 什么是词云
可视化有很多种,好的数据可视化,可以使得数据分析的结果更加通俗易通。"词云"属于可视化的一种,它会根据关键词的出现频率生成一幅图,这样可以让我们一眼就知道其主要要点。比如下面
二 制作词云的步骤
1 第一步收集需要可视化的内容。
内容可以是文章内容,当然也可以是爬虫的内容。这里我们先使用NAB球星科比的材料作为内容。
2 安装词云库
wordcloud,安装方法如下(前提是电脑已经有了python环境和一些基础库哟,建议可以装个Anaconda,这样就少了很多依赖包的麻烦哟)
pip install wordcloudpip install jieba--------中文库,因为我想展示中文内容pip install PIL----------图像处理库pip install matplotlib-----图像展示库3 介绍下jieba中文库和下面会用到的wordcloud常用参数
(1) jieba简介
jieba中文库它是python中文分词组件,具有三种分词模式精确模式,试图将句子最精确的切开,比较适合文本分析全模式,把句子中所有可以成词的都扫描出来,速度很快,但是不能解决歧义搜索引擎模式,在精确模式的基础上对长词进行再次切分,适合用于搜索引擎分词支持繁体分词支持自定义词典MIT授权协议(2) jieba API
jieba.cut 接受三个参数需要分词的字符串,可以是中文
cut_all bollean类型的参数,用来控制是否采用全模式 HMM参数用来控制是否采用HMM模型(隐马模型--后续进行相关学习)
jieba.cut_for_search 接受两个参数需要分词的字符串,可以为中文HMM参数用来控制是否采用HMM模型它与jieba.cut 的最大区别就在于分词更加细腻,且会将全部的可能性输出,因此没有cut_all 参数
4 科比词云图制作测试代码1
运行结果
三 案例 网易云歌手的赵雷词云图
1 整体流程图
2 爬取+词云制作
(1) 我们先查看网易云的歌词API接口需要什么常用接口。发现需要一个ID。所以第一步访问url进入歌手界面,寻找规律得出歌手ID。
进入歌手页面 歌手页面点击赵雷歌曲页面 赵雷歌曲页面。这里可以多点击几个歌手,就会发现不同的歌手页面不同的地方在URL后面的ID不同。点击歌手名字,进入歌手页面,选中热门50首中div的id属性。因为我们需要每首歌的歌词,所以需要寻找歌曲的歌词连接,通常为a标签,所以我们往下看,用xpath解析出所有的a标签。(2) 现在拼接我们的爬取歌词的url。
http://music.163.com/api/song/lyric?os=pc&id= + song_id + &lv=-1&kv=-1&tv=-1(3) 去掉部分停用词比如作词,编曲等词语
(4)整体代码
呜呜这里不方便截图了,所以小伙伴可以私信我发给你了哈。
结果
4 总结
今天总结下整体的内容。其中涉及到的知识点有可视化,词云图制作以及中文的jieba库。
不知道你们看完有一点点收获吗?如果有收获希望你
点赞 给予我更多鼓励同时让更多人学习私信我拿源码哈!