爬虫爬取网易云,爬取网易云音乐热歌榜top200(python)

配置基础

Python

Selenium

Chrome浏览器(其它的也可以，需要进行相应的修改)

分析

如果爬取过网易云的网站的小伙伴都应该知道网易云是有反爬取机制的，POST时需要对一些信息的参数进行加密函数的模拟。但是这里为了简便，小白也能理解。直接使用了Selenium来模拟登录，然后使用接口来直接下载音乐和歌词。

实验步骤：

根据歌手ID获取该歌手的热门歌曲列表，歌曲名称和链接，并保存到csv文件中；

读取csv文件，根据歌曲链接，提取歌曲ID，然后利用相应的接口，下载音乐和歌词；

将音乐和歌词保存到本地。

Python实现

该部分将对几个关键的函数进行介绍...

获取歌手信息

利用Selenium我们就不需要看对网页的请求了，直接可以从网页源码中提取相应的信息。查看歌手页面源码可以发现，我们需要的信息在iframe框架内，所以我们先需要切换到iframe：

browser.switch_to.frame(contentFrame)

继续往下看，发现我们需要的歌曲名字和链接是在id="hotsong-list"的标签中，然后每一行对应的是一个tr标签。所以先获取所有的tr内容，然后遍历单个tr。

data = browser.find_element_by_id("hotsong-list").find_elements_by_tag_name("tr")

注意：前一个是find_element，后一个是find_elements，后者返回一个列表。

接下来就是解析单个tr标签的内容，获取歌曲名字和链接，可以发现两者在class="txt"标签中，而且链接是href属性，名字是title属性，可以直接通过get_attribute()函数获取。

下载歌词

网易云有个获取歌词的接口，链接为：

http://music.163.com/api/song...

链接中的数字就是歌曲的id，所以我们拥有歌曲id后，可以直接从该链接下载歌词，歌词文件是json格式，所以我们需要用到json包。

而且直接获取的歌词中，每行有一个时间轴，需要用正则表达式来剔除，完整代码如下：

下载音频

网易云也提供了音频文件的接口，链接为：

http://music.163.com/song/med...

链接中的数字为歌曲的id，可以直接根据歌曲的id来下载音频文件。完整代码如下：