Python Selenium爬虫实现歌曲免费下载

开发 后端
selnium是一款很强大的浏览器自动化测试框架,直接运行在浏览器端,模拟用户操作,目前selenium支持包括IE,Firefox,Chrome等主流浏览器及PhantomJS之类的无头浏览器,selenium+phantomjs也是现在很火的一个爬虫框架。

[[207757]]

最近发现越来越多的歌曲下载都需要缴费了,对维护正版是好事。但有的时候也想钻个空子,正好最近在学习python,随手写了一个建议爬虫,用来爬取某播放软件的在线音乐。

主要思路就是爬取播放页里的播放源文件的url,程序可以读取用户输入并返回歌单,,,因为在线网站包含大量js,requests就显得很无奈,又懒得手动解析js,于是寄出selenium大杀器。

selnium是一款很强大的浏览器自动化测试框架,直接运行在浏览器端,模拟用户操作,目前selenium支持包括IE,Firefox,Chrome等主流浏览器及PhantomJS之类的无头浏览器,selenium+phantomjs也是现在很火的一个爬虫框架。

代码不长,做的有些简陋,以后可以加个GUI。。。。

步骤一:

进入酷狗主页,F12查看元素,,通过selenium.webdriver的send_keys()方法给send_input类传参,即用作用户的输入,然后通webdriver.click()方法点击搜索按钮,得到搜索结果列表。这里会有一个js重定向,通过webdriver.current_ur就可以了,,切记一点!传入的参数需要经过unicode编码(.decode(‘gb18030′))效果一样),否则如果有中文会乱码。。(来自被深深困扰的我)

 

步骤二:

查看元素里每首歌的路径,发现每首歌的路径只有<li>不同,于是通过对li的迭代来获取每一首歌的xpath,并输出歌曲名字的元素,然后依旧通过webdriver的click()方法点击歌曲链接,得到歌曲播放页面,这里没有什么难点,都是常规操作。需要注意的是,这里的歌曲链接也包含一个js的重定向,但不一样的是浏览器会打开一个新的页面(至少火狐会),可以在click()方法后通过webdriver.switch_to_window()方法跳转到新打开的页面

 

步骤三:

进入播放页面后通过xpath找到播放源文件链接(强推firepath,xpath神器啊)但发现这里依然有一个js渲染,来生成播放源链接,直接提取<src>标签会显示为空,于是继续webdriver,调用的浏览器会自动解析js脚本,解析完成后提取<src>得到歌曲链接,使用urllib的urlretrueve()下载即可

 

代码如下:

  1. #coding=utf-8 
  2. from selenium.webdriver.remote.webelement import WebElement 
  3. from selenium import webdriver 
  4. from selenium.webdriver import ActionChains 
  5. from selenium.common.exceptions import NoSuchElementException 
  6. from selenium.common.exceptions import StaleElementReferenceException 
  7. from selenium.webdriver.common.desired_capabilities import DesiredCapabilities 
  8. from selenium.webdriver.common.by import By 
  9. import time 
  10. import urllib 
  11.  
  12. #歌曲名 
  13. mname = '' 
  14.  
  15. #JS重定向 
  16. def wait(driver): 
  17.     elem = driver.find_element_by_tag_name('html'
  18.     count = 0 
  19.     while True
  20.         count += 1 
  21.         if count > 20: 
  22.             print('chao shi le'
  23.             return 
  24.         time.sleep(.5) 
  25.         try: 
  26.             elem == driver.find_element_by_tag_name('html'
  27.         except StaleElementReferenceException: 
  28.             return 
  29.  
  30. #获取url 
  31. def geturl(): 
  32.     input_string = raw_input('>>>please input the search key:'
  33.     driver = webdriver.Chrome() 
  34.     url = 'http://www.kugou.com/' 
  35.     driver.get(url) 
  36.     a=driver.find_element_by_xpath('html/body/div[1]/div[1]/div[1]/div[1]/input') #输入搜索内容 
  37.     a.send_keys(input_string.decode('gb18030')) 
  38.     driver.find_element_by_xpath('html/body/div[1]/div[1]/div[1]/div[1]/div/i').click() #点击搜索 
  39.     result_url = driver.current_url 
  40.     driver.quit() 
  41.     return result_url 
  42.  
  43.  
  44. #显示搜索结果 
  45. def show_results(url): 
  46.     driver = webdriver.Chrome() 
  47.     driver.get(url) 
  48.     time.sleep(3) 
  49.     for i in range(1,1000): 
  50.         try: 
  51.             print '%d. '%i + driver.find_element_by_xpath(".//*[@id='search_song']/div[2]/ul[2]/li[%d]/div[1]/a"%i).get_attribute('title')  #获取歌曲名 
  52.         except NoSuchElementException as msg: 
  53.             break 
  54.     choice = input(">>>Which one do you want(you can input 'quit' to goback(带引号)):"
  55.     if choice == 'quit':   #从下载界面退回 
  56.         result = 'quit' 
  57.     else
  58.         global mname 
  59.         mname = driver.find_element_by_xpath(".//*[@id='search_song']/div[2]/ul[2]/li[%d]/div[1]/a"%choice).get_attribute('title'
  60.         a = driver.find_element_by_xpath(".//*[@id='search_song']/div[2]/ul[2]/li[%d]/div[1]/a"%choice) 
  61.         actions = ActionChains(driver) 
  62.         actions.move_to_element(a) 
  63.         actions.click(a) 
  64.         actions.perform() 
  65.         #wait(driver) 
  66.         driver.switch_to_window(driver.window_handles[1])  #跳转到新打开的页面 
  67.         result = driver.find_element_by_xpath(".//*[@id='myAudio']").get_attribute('src') #获取播放元文件url 
  68.         driver.quit() 
  69.     return result 
  70.  
  71.  
  72. #下载回调 
  73. def cbk(a, b, c): 
  74.     per = 100.0 * a * b / c   
  75.     if per > 100: 
  76.         per = 100 
  77.     print '%.2f%%' % per 
  78.      
  79.  
  80. def main(): 
  81.     print'***********************欢迎使用GREY音乐下载器********************************' 
  82.     print'                                                      directed by GreyyHawk' 
  83.     print'**************************************************************************' 
  84.     time.sleep(1) 
  85.     while True
  86.         url = geturl() 
  87.         result = show_results(url) 
  88.         if result == 'quit'
  89.             print'\n' 
  90.             continue 
  91.         else
  92.             local = 'd://%s.mp3'%mname 
  93.             print 'download start' 
  94.             time.sleep(1) 
  95.             urllib.urlretrieve(result, local, cbk) 
  96.             print 'finish downloading %s.mp3'%mname + '\n\n' 
  97.  
  98.  
  99.  
  100. if __name__ == '__main__'
  101.   main()    

效果: 

 

总结:

当网页包含大量js的时候,selenium就会非常的方便,但经过实践发现好像phantomjs解析js的效率没有世纪浏览器的高,还会出错,后来换成调用火狐就好了,,不知道为啥,,也许是脸黑吧,,总之selenium真的是一款非常强大的框架,对爬虫有兴趣的同学一定要了解一下。 

责任编辑:庞桂玉 来源: 36大数据
相关推荐

2021-04-16 08:02:05

Python下载音乐Python基础

2013-09-05 13:52:17

QQ音乐

2017-05-16 15:33:42

Python网络爬虫核心技术框架

2021-04-01 09:02:38

Python小说下载网络爬虫

2021-03-30 09:21:09

PythonSeleniumPython爬虫

2010-03-03 09:30:40

Python实现网页爬

2011-11-28 10:44:46

Office 2010下载

2024-04-30 09:33:00

JavaScriptPythonexecjs

2023-12-25 09:52:32

2011-03-09 10:07:56

网络爬虫Java

2020-10-13 09:53:51

HarmonyOS入门下载

2017-08-09 15:27:33

python爬虫开发工具

2023-11-27 08:51:46

PythonRequests库

2021-11-03 18:01:21

Python爬虫微信群

2017-06-14 15:20:43

Python爬虫BeautifulSo

2012-05-10 13:42:26

Java网络爬虫

2009-03-26 08:49:56

微软Windows 7操作系统

2011-02-21 09:50:35

虚拟机VirtualB

2017-08-22 17:30:14

Python爬虫

2024-11-27 06:31:02

点赞
收藏

51CTO技术栈公众号