Python抓取网页内容应用代码分析

开发 后端
Python抓取网页内容的实现,其操作方法是比较简单的。我们可以通过这里介绍的两种不同方法来对这一应用技术进行充分的掌握。

我们今天将会通过这篇文章,为大家详细介绍一下Python抓取网页内容的两种不同方法。大家可以以此为参考对象,在实际应用中选择一种适合自己的应用方式来帮助我们完成实际开发中的需求。

Python抓取网页内容方法一、用urllib2/sgmllib包,将目标网页的所有URL列出。

  1. import urllib2  
  2. from sgmllib import SGMLParser   
  3. class URLLister(SGMLParser):  
  4. def reset(self):   
  5. SGMLParser.reset(self)  
  6. self.urls = []  
  7. def start_a(self, attrs):   
  8. href = [v for k, v in attrs if k=='href']   
  9. if href:  
  10. self.urls.extend(href)  
  11. f = urllib2.urlopen("http://www.donews.com/")  
  12. if f.code == 200:  
  13. parser = URLLister()  
  14. parser.feed(f.read())  
  15. f.close()  
  16. for url in parser.urls: print url 

Python抓取网页内容方法二、用python调用IE抓取目标网页(Require win32com, pythoncom)的所有图像的url和大小

  1. import win32com.client, pythoncom  
  2. import time  
  3. ie = win32com.client.DispatchEx('InternetExplorer.Application.1')  
  4. ie.Visible = 1 
  5. ie.Navigate("http://news.sina.com.cn")  
  6. while ie.Busy:  
  7. time.sleep(0.05)  
  8. doc = ie.Document  
  9. for i in doc.images:  
  10. print i.src, i.width, i.height 

这种方法可以利用IE本身的Javascript. DHTML的支持,来做自动提交Form,和处理Javascript。

以上就是我们为大家介绍的Python抓取网页内容的两种不同的方法。

【编辑推荐】

  1. Python编码规范基本内容简介
  2. Python调用MySql存储过程基本应用方式解读
  3. 第三方Python库基本概念简述
  4. Python打包方法基本应用方式介绍
  5. Python set类型基本应用方式解读
责任编辑:曹凯 来源: 博客园
相关推荐

2010-03-04 11:22:59

Python抓取网页图

2009-07-31 10:34:41

ASP.NET抓取网页

2009-12-02 15:50:41

PHP抓取网页内容

2010-03-04 10:16:41

Python应用技巧

2012-05-17 15:11:23

linux

2021-11-24 17:22:06

网络抓取网络爬虫数据收集

2010-03-09 15:48:06

Python抓取

2010-03-12 16:39:55

Python多线程

2018-01-09 14:43:37

Python机器学习数据抓取

2015-04-20 10:12:30

谷歌搜索

2023-03-09 15:55:17

JavaScriptURLCSS

2020-10-12 08:19:43

Python爬虫网页数据

2019-07-24 16:00:37

Python代码高清图片

2009-09-07 14:00:57

C#抓取网页

2018-07-10 10:20:14

2022-09-20 08:00:57

PythonDash

2017-04-25 15:40:12

数据分析商品评价

2010-07-16 11:16:40

Perl抓取网页

2010-02-03 17:10:12

Python编写

2011-06-15 19:09:24

搜索引擎
点赞
收藏

51CTO技术栈公众号