Python分析新浪微博各种表情使用频率

开发 后端 前端
用新浪微博API积累了微博广场的1.4万条数据,我选择了21个字段输出为TXT文件,想用Python稍微处理一下,统计一下这1.4万条微博里面表情使用情况,统计结构在最后。

用新浪微博API积累了微博广场的1.4万条数据,我选择了21个字段输出为TXT文件,想用Python稍微处理一下,统计一下这1.4万条微博里面表情使用情况,统计结构在***。

无聊的时候用了下新浪JAVA版的API,对JAVA还不熟悉,但是稍微改一下还是没问题的,数据保存为TXT文件,再用Python处理,JAVA部分很简单,Python部分只涉及到表情的正则提取,都不好意思写出来了。

1、调用新浪JAVA API下载微博广场数据

步骤思路:

初始化API的Weibo类,设置Token后,设置下载间隔,然后重复调用getPublicTimeline()函数就可以了,下面是主要类的代码:

这个不是完整的代码,没有初始化暂停间隔,可以掠过,很简单。

  1. class WriteWeiboData{  
  2.      private int n;  
  3.      public WriteWeiboData(int count)  
  4.      {  
  5.          this.n=count;  
  6.      }  
  7.      public void Start(){  
  8.          System.setProperty("weibo4j.oauth.consumerKey", Weibo.CONSUMER_KEY);  
  9.          System.setProperty("weibo4j.oauth.consumerSecret", Weibo.CONSUMER_SECRET);  
  10.          try {  
  11.              //获取前20条***更新的公共微博消息  
  12.              Weibo weibo = new Weibo();  
  13.              //weibo.setToken(args[0],args[1]);  
  14.              weibo.setToken("keystring""keyscrect");  
  15.              for(int i=0;i<this.n;i++){  
  16.                  System.out.print("Start to get weibo data num "+(i+1)+"\n");  
  17.                  List<Status> statuses =weibo.getPublicTimeline();  
  18.                  for (Status status : statuses) {  
  19.                      SaveData(status);  
  20.                  }  
  21.                  try{  
  22.                      System.out.print("Success to get weibo data num "+(i+1)+"\n");  
  23.                      System.out.print("Sleep for 30 seconds");  
  24.                      Thread.sleep(30000);  
  25.                  }catch(Exception ee){  
  26.                      System.out.print("Sleep Error");  
  27.                  }  
  28.              }  
  29.          } catch (WeiboException e) {  
  30.              e.printStackTrace();  
  31.          }  
  32.      }  
  33.      public void SaveData(Status status){  
  34.          //Return data format:  
  35.                  //created_at,id,text,source,mid  
  36.                  //user:id,screen_name,name,provience,city,location,description,url,domain,gender,  
  37.                  //followers_count,friends_count,statuses_count,favourites_count,created_at,verified  
  38.                  //annotations:server_ip  
  39.                  try{  
  40.                      User user=status.getUser();  
  41.                      FileWriter fw=new FileWriter("F:/Sina.txt",true);  
  42.                      fw.write(status.getCreatedAt()+"\t"+status.getId()+"\t"+status.getText()+"\t"+  
  43.                      status.getSource()+"\t"+status.getMid()+"\t"+  
  44.                      user.getId()+"\t"+user.getScreenName()+"\t"+user.getName()+"\t"+  
  45.                      user.getProvince()+"\t"+user.getCity()+"\t"+user.getLocation()+"\t"+  
  46.                      user.getDescription()+"\t"+user.getURL()+"\t"+user.getUserDomain()+"\t"+  
  47.                      user.getGender()+"\t"+user.getFollowersCount()+"\t"+user.getFriendsCount()+"\t"+  
  48.                      user.getStatusesCount()+"\t"+user.getFavouritesCount()+"\t"+user.getCreatedAt()+"\t");  
  49.                      fw.write("\n");  
  50.                      fw.close();  
  51.                  }  
  52.                  catch(Exception e){  
  53.                      System.out.print("IO Error");  
  54.                  }  
  55.      }  
  56.  } 

2、数据格式:

 

 

要取得数据就是微博内容,先练一下手玩玩。

3、Python处理数据

目标:查看微博用户表情使用情况,暂时只分性别,如果积累了合适的数据后可以分析各个时间段人们爱用哪种表情。

步骤:

$ 读取TXT文件,递归处理每一行

$ 单独提取出微博字段,正则提取表情字段,同时把性别提取出来,放到一个dict里面,dict的格式是:表情/女性使用频率/男性使用频率,递归处理,累积频率

$ 把结果写入到文件

注意:Python正则提取中文部分,先解码成unicode编码,再正则提取,表情的标志是[],虽有误差,但无大碍。

代码:

__collection函数是处理函数,返回处理结果(dict)

  1. class EmotionFrequent():  
  2.      infoFile='F:/Sina.txt' 
  3.      def __init__(self):  
  4.          pass 
  5.      def __collection(self):  
  6.          f=open(self.infoFile)  
  7.          d=dict()  
  8.          n=1 
  9.          for line in f.readlines():  
  10.              if line.strip()=='' or line.strip()=='\n':  
  11.                  pass 
  12.              cols=line.split('\t')  
  13.              if len(cols)<20:  
  14.                  continue 
  15.              n+=1 
  16.              es=[]  
  17.              #if cols[2].find('[')!=-1 and cols[2].find(']')!=-1:  
  18.              info=cols[2]  
  19.              for i in re.findall(r'\[\S+?\]',info.decode('utf-8')):  
  20.                  data=i[1:-1].encode('utf-8')  
  21.                  if d.has_key(data):  
  22.                      if cols[14]=='f':  
  23.                          d[data][0]+=1 
  24.                          d[data][2]+=1 
  25.                      else:  
  26.                          d[data][1]+=1 
  27.                          d[data][2]+=1 
  28.                  else:  
  29.                      if cols[14]=='f':  
  30.                          d[data]=[1,0,1]  
  31.                      else:  
  32.                          d[data]=[0,1,1]  
  33.          print 'Total records num '+str(n)  
  34.          return d  
  35.          pass 
  36.      def WriteDict(self):  
  37.          d=self.__collection()  
  38.          f=open('F:/keys.txt','w')  
  39.          for k in d:  
  40.              f.write(k+'\t')  
  41.              f.write(str(d[k][0])+'\t')  
  42.              f.write(str(d[k][1])+'\t')  
  43.              f.write(str(d[k][2])+'\n')  
  44.          f.close()  
  45.          pass 
  46.      def Run(self):  
  47.          self.WriteDict()  
  48.      pass 

脚本运行结果:

 

 

把结果放到EXCEL里面重新排序,得到如下结果:

 

 

至于怎么解读这个结果,有没有意义,各有各的想法。

网友评价:印证了女人是情绪化动物,爱哭爱笑爱爱卖萌爱撒娇要抱抱。。。。而男人,辛苦易生病易头晕。

原文:http://www.cnblogs.com/Lannik/archive/2011/10/21/2219776.html

【编辑推荐】

  1. Quora创始人谈:我们为什么使用Python
  2. 对于Python Web编程的一些概念总结
  3. Python在Linux平台上的发展前景展望
  4. 五分钟理解Python元类(Metaclasses)
  5. Python入门之你必须了解的语法与类型
责任编辑:陈贻新 来源: L Cooper的博客
相关推荐

2011-08-30 14:48:02

2012-07-12 15:00:26

漏洞账号错乱新浪微博

2013-07-10 14:15:38

php新浪微博

2013-07-01 18:34:47

个推案例新浪微博

2011-12-08 16:10:18

2015-01-21 15:28:16

Android源码新浪微博

2011-07-22 10:38:55

HTC新浪Facebook

2011-12-08 16:31:43

新浪微博开放平台

2011-12-08 16:51:55

新浪微博开放平台

2015-09-24 18:08:50

微博架构架构演进架构

2011-07-01 13:29:15

2011-06-29 09:57:45

2013-03-20 10:09:22

微博风云大数据社会化数据分析

2017-04-27 11:15:05

新浪微博LNMP架构侯青龙

2011-12-20 09:54:43

微博

2020-09-07 14:00:23

腾讯微博微信互联网

2014-01-07 10:46:39

2013-05-27 09:52:35

Android开发移动开发移动应用

2017-04-27 14:43:53

新浪微博LNMP架构侯青龙

2017-04-15 21:36:05

微服务新浪微博WOT
点赞
收藏

51CTO技术栈公众号