C#实现Internet信息抓取

开发 后端
这里介绍C#实现Internet信息抓取,所谓Internet信息抓取程序,就是程序会按照用户的关键词或关键网站来收集相应的信息,并提供给用户想要的信息格式。

背景

随着Internet的普及,网络信息正以极高的速度增长,在这么多数据中找到自己需要的信息是一件很繁琐的事情,找到需要的信息后如何获取也是件麻烦的事。这就需要C#实现Internet信息抓取程序来代替人工的操作。
所谓Internet信息抓取程序,就是程序会按照用户的关键词或关键网站来收集相应的信息,并提供给用户想要的信息格式。

信息量的增加会带来信息网站发布人员工作量的剧增,为实现信息发布系统实现信息自
动发布、减少工作人员工作量、即时跟踪最新信息,就需要自动信息提供程序,因此C#实现Internet信息抓取程序应运而生。

目标

实现自定义网站信息分类抓取,存入本地数据库、生成静态页面或其它用户定义的信息结构,并下载与信息相关的多媒体文件。

开发

目标站点结构分析
本步骤是准确抓取信息个关键。
首先要选择更新频率高的页面做为抓取地址,然后分析要抓取内容页面url特点。
然后分析要抓取信息页面的元素特性,比如标题位置,内容位置 等,得到定位标记点。
将以上信息写成自己的配置文件或存到数据库中。
每个网站都需要分析,写出单独的配置文件,供抓取程序使用。

信息提取
根据配置文件取得要抓取页面url,使用HttpWebRequest类获取内容:

 

  1. //获取http页面函数  
  2. publicstringGet_Http(stringa_strUrl,inttimeout)  
  3. {  
  4. stringstrResult;  
  5.  
  6. try  
  7. {  
  8. HttpWebRequestmyReq=(HttpWebRequest)HttpWebRequest.Create(a_strUrl);  
  9. myReq.Timeout=timeout;  
  10. HttpWebResponseHttpWResp=(HttpWebResponse)myReq.GetResponse();  
  11.  
  12. StreammyStream=HttpWResp.GetResponseStream();  
  13.  
  14. StreamReadersr=newStreamReader(myStream,Encoding.Default);  
  15. StringBuilderstrBuilder=newStringBuilder();  
  16. while(-1!=sr.Peek())  
  17. {  
  18. strBuilder.Append(sr.ReadLine()+"\r\n");  
  19. }  
  20.  
  21. strResult=strBuilder.ToString();  
  22. }  
  23. catch(Exceptionexp)  
  24. {  
  25. strResult="错误:"+exp.Message;  
  26. }  
  27.  
  28. returnstrResult;  
  29.  

以上介绍C#实现Internet信息抓取

【编辑推荐】

  1. C#特有线程功能
  2. 浅谈C#对象和集合
  3. 浅析C# FTP WebRequest对象
  4. C#分部方法的应用场景
  5. 概述C#线程功能
责任编辑:佚名 来源: 博客园
相关推荐

2009-09-07 14:00:57

C#抓取网页

2009-08-25 11:13:28

C#获取逻辑硬盘信息

2009-08-25 16:24:44

C#信息架构视图

2009-08-31 15:55:17

C#实现Strateg

2009-08-19 17:00:07

C#实现PrintPa

2009-08-25 17:55:52

C#实现Strateg

2009-08-20 14:22:17

C#实现 Contro

2009-09-01 18:29:10

C#继承C#多态

2009-08-26 09:54:45

C#打印预览C#打印

2009-08-20 12:35:41

C#读取图片的EXIF

2009-08-24 10:06:31

C#接口成员

2009-08-19 14:29:33

C#代理

2009-08-17 17:08:35

C# ADSL自动拨号

2009-09-01 18:29:24

C#实现多个接口

2009-09-02 17:29:10

C# TextBox换

2009-08-12 13:11:24

C#实现远程线程插入

2009-09-04 13:22:31

C#实现多个接口

2009-09-09 13:18:10

C# TextBox滚C# TextBox

2009-08-12 11:33:23

C#实现文件下载

2009-08-24 10:47:45

C#接口重实现
点赞
收藏

51CTO技术栈公众号