面试宝典

网易云音乐抓取演示


# -*- coding:utf-8 -*-  
from selenium import webdriver
import csv
#网易云音乐歌单第一页的url
url='http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0'
#用PhantomJS接口创建一个Selenium的webdriver
driver=webdriver.PhantomJS()
#准备好存储歌单csv
csv_file=open("playlist.csv","w",newline='')
writer=csv.writer(csv_file)
writer.writerow(['标题','播放数','链接'])
#解析每一页,直到‘下一页’为空
while url!='javascript:void(0)':
    #用webDriver加载页面
    driver.get(url)
    #切换到内容的iframe
    driver.switch_to.frame("contentFrame")
    #定位歌单标签
    data=driver.find_element_by_id("m-pl-container").find_elements_by_tag_name("li")
    #解析一页中所有歌单
    for i in range(len(data)):
        #获取播放数
        nb=0
        if(data[i].find_element_by_class_name("nb")):
            nb=data[i].find_element_by_class_name("nb").text
        if '万' in nb and int(nb.split("万")[0])>500:
            #获取播放数大于500万的歌单的封面
            msk=data[i].find_element_by_css_selector("a.msk")
            #把封面上的标题和链接连同播放数一起写到文件中
            writer.writerow([msk.get_attribute('title'), nb,msk.get_attribute('href')])
            #定位'下一页'的url
    url=driver.find_element_by_css_selector("a.zbtn.znxt").get_attribute('href')
csv_file.close()

标题,播放数,链接
华语 | 假如能回到过去,你想做什么,539万,http://music.163.com/playlist?id=1982066521
『粤语』 听一首把自己感动的歌,797万,http://music.163.com/playlist?id=981484303
2017全球百大DJ排行榜,705万,http://music.163.com/playlist?id=967260925
电音史上最伟大的250首EDM音乐作品,881万,http://music.163.com/playlist?id=954297462
「华语」哭泣使人乞讨,思念使人奔跑,2211万,http://music.163.com/playlist?id=941306349
国语说唱也很抒情,副歌也美,1193万,http://music.163.com/playlist?id=934870683
华语丨你的誓言 也不过是你说的口是心非,1002万,http://music.163.com/playlist?id=932808152
神级Remix电音背后的优质原作☆总集完结篇,698万,http://music.163.com/playlist?id=925845034
R&B柔情男嗓丨萦绕心间的温暖细腻,843万,http://music.163.com/playlist?id=912256078
华语 | 我可以忘记一切,却忘不了你的出现,1553万,http://music.163.com/playlist?id=911642235
「小情歌」甜炸ฅ就是要对你说上一世情话,640万,http://music.163.com/playlist?id=916906701
1976-2017 苹果发布会及广告音乐精选,519万,http://music.163.com/playlist?id=916628251
「致过去」关于我和你的故事 到此为止,1012万,http://music.163.com/playlist?id=914759464
那些在你酩酊大醉后嘶吼出来的心事,2215万,http://music.163.com/playlist?id=882960422
我知道风里有诗,那正是民谣的歌。,717万,http://music.163.com/playlist?id=879463910
倒叙年华‖时光漫步之2007~2016,909万,http://music.163.com/playlist?id=866169651
若拿歌比喻人的所有心情,这刚好合适,518万,http://music.163.com/playlist?id=870172144
倒叙年华‖时光漫步之1997~2006,729万,http://music.163.com/playlist?id=874111799
你需要一首BGM,来撑起你的内心戏!,1435万,http://music.163.com/playlist?id=826721715
重温华语老歌,这些专辑今年20岁。,662万,http://music.163.com/playlist?id=867507289
好的翻唱会不断从别人那里听说 | 持续更新,798万,http://music.163.com/playlist?id=827063613
孤独之前是迷茫 孤独之后是成长,823万,http://music.163.com/playlist?id=830053193
唯美纯音|一个小小的青春故事。,1115万,http://music.163.com/playlist?id=822918736
倾听自然 · 海之遐想,794万,http://music.163.com/playlist?id=819618896
有哪些好听的歌会让你感同身受,1415万,http://music.163.com/playlist?id=864112683
『开口脆』迷幻嗓音极致瞬间❤️,908万,http://music.163.com/playlist?id=824754853
【2017】热播影视剧原声歌曲盘点,787万,http://music.163.com/playlist?id=810246568
沉浸于字里行间°读书专用背景音乐,578万,http://music.163.com/playlist?id=800314623
「电子•女声」惊艳耳际,一秒倾心,1155万,http://music.163.com/playlist?id=798130521
「前奏控」被前奏秒杀的古风歌,675万,http://music.163.com/playlist?id=782743277
华语 | 此生一定要去演唱会哭一次,595万,http://music.163.com/playlist?id=773961621
2017上半年百首热门EDM精选,1373万,http://music.163.com/playlist?id=778336559
【嘻哈】This is RapChina!,1099万,http://music.163.com/playlist?id=779407493
【 慎用!高浓度肾上腺素 〗,532万,http://music.163.com/playlist?id=771276185
只要能遇见你,就不怕姗姗来迟,1613万,http://music.163.com/playlist?id=733782317
『一百首』经典华语怀旧老歌,1445万,http://music.163.com/playlist?id=737535139
喂,谈恋爱不要扭扭捏捏啦!,791万,http://music.163.com/playlist?id=980175967
爱透了一个人,到底是一种什么体验,606万,http://music.163.com/playlist?id=963463438
无事献殷勤,非……非常喜欢你,630万,http://music.163.com/playlist?id=952169293
没有收拾残局的能力 就别放纵善变的情绪,652万,http://music.163.com/playlist?id=947206539
你走得那么远 只为摆脱怀旧的负重,617万,http://music.163.com/playlist?id=936488795
用这些歌表白,还不分分钟拿下妹纸!,517万,http://music.163.com/playlist?id=934882307
黄昏时偷走你的肋骨酿酒,528万,http://music.163.com/playlist?id=934273781
你总要一个人,经历些难捱的日子。,767万,http://music.163.com/playlist?id=919620061
华语速爆新歌,5210万,http://music.163.com/playlist?id=924680166
『治愈女声』 温暖沉静,治愈心灵,853万,http://music.163.com/playlist?id=909747538
医生说我的抖腿已经无药可治了,848万,http://music.163.com/playlist?id=908262904
如何优雅地逼疯你的老师?,547万,http://music.163.com/playlist?id=899977718
粤语男声:我爱你依旧如初,不曾改变。,917万,http://music.163.com/playlist?id=893153237
暑假补作业BGM,659万,http://music.163.com/playlist?id=881279888
口哨系|学会就可以撩妹了ΘˍΘ,703万,http://music.163.com/playlist?id=869583062
【抖腿向】嗨得一路拉风带闪电⚡⚡,526万,http://music.163.com/playlist?id=871188467
『粤语』我和小伙伴听过的崴碟子和撇磁带,540万,http://music.163.com/playlist?id=867504997
Rapper说情话|突然想闻一闻恋爱的酸臭味,610万,http://music.163.com/playlist?id=867730778
50部爱情电影,50种浓情蜜意,682万,http://music.163.com/playlist?id=863956318
秒懂这些歌曲是你我之间的小默契,1171万,http://music.163.com/playlist?id=826797842
初识不知曲中意,再听已是曲中人,541万,http://music.163.com/playlist?id=831845871
【民谣里】姑娘,你的酒铺还缺人么,927万,http://music.163.com/playlist?id=820084317
林肯公园主唱离世 | 我努力过 但终究徒劳,1680万,http://music.163.com/playlist?id=818563810
流行&质优||华语电影金曲精选,679万,http://music.163.com/playlist?id=820195717
【劲歌金曲第一弹】请选择严肃脸抖腿,560万,http://music.163.com/playlist?id=817351430
致前任|最不可能的人 听完请放下,800万,http://music.163.com/playlist?id=814768511
想撩妹?用这单就够了,1620万,http://music.163.com/playlist?id=805199918
【节奏控】一听就上瘾的惊艳女声,604万,http://music.163.com/playlist?id=768047050
Ghost Producer|那些才华横溢的幕后制作人,643万,http://music.163.com/playlist?id=757439549
EDM | 当毒性电音遇上磁性男嗓,731万,http://music.163.com/playlist?id=758685273
这节奏,听着就想跳舞!,639万,http://music.163.com/playlist?id=750115024
赌一包辣条,你的前任听了这些歌会哭成狗,530万,http://music.163.com/playlist?id=863632877