[Python代码]人人网状态墙抓取脚本

更多

在很多活动中,会使用诸如人人墙、微博墙这类产品增强现场的氛围,而在活动后,如何保留这些状态呢?我们不可能会指望着以后再登录这些网站一页一页翻看下去,因为像人人墙15条状态一页,一次活动很容易就几十上百页,甚至不能指望这些网站永久的正确保留这些状态墙(比如,现在去查看比较早的人人墙,发表时间一律是2011-09-06 01:26,原始的时间数据就已经丢失了)。这时,我们就需要把这些状态墙抓取下来留作永久保存的几年了。

在昨天的文章里曾经提到过,写那个程序的本来目的是为了抓取去年我参加的一次活动时候人人网状态墙上面的状态。由于目前的人人墙状态查看不再需要登录,因此,对原来的代码进行了一定的修改。

这个程序包括3个文件,config.py、renren.py、wall.py。其中renren.py和config.py参见昨天的文章(点此进入)。

config.py增加一句,作为人人墙的基础地址:

对人人墙的源代码进行分析,发现每页的15条状态并没有出现在源代码中。使用firebug查看,发现这些状态在一个名为id='info-discuss'的div中。再通过查看post的信息,发现实际上这些状态的来源网址是“http://w.renren.com/wall/[wall_id]/wallDoing/[page]”,如下图中的蓝色框所示:

人人墙地址

进一步查看这个地址里的内容,如下图所示:

人人墙json

可以看到,这是一个json格式的文件,其中wallId是人人墙的ID,page是当前页,pagecount是总页数,wallDoingArray是状态列表。在状态列表中,包括有用户ID、用户姓名、头像地址、状态内容、状态楼层、时间等信息,在下面的代码中我们只用用户ID、姓名、状态内容和时间几项。

下面是wall.py的内容:

在这里,首先取得总页数,执行一个循环,读取每页中的状态信息(这里需要使用到json模块),将所有状态总结到一个列表中,再将这些状态进行格式化,输出到文件中。

在格式化输出中,可以看到有一处是判断用户是否为手机用户的,如果是手机用户,在json文件的userId中显示的是sms_[手机号]这样一个格式,而userName则是一个中间四位置为*的手机号,在这里我选择不完全公开手机号。

本文内容遵从CC3.0版权协议,转载请注明:转自Pythoner

本文链接地址:[Python代码]人人网状态墙抓取脚本

  1. 暂无评论

  1. 暂无 Trackback

[em_zan] [em_yali] [em_xiao] [em_xhj] [em_tucao] [em_tu] [em_tiaopi] [em_sx] [em_sdz] [em_sbq] [em_mobai] [em_kzh] [em_ku] [em_ksh] [em_keai] [em_jiong] [em_jing] [em_hx] [em_han] [em_ganga] [em_daxiao] [em_cool] [em_chi] [em_bu] [em_bizui] [em_ai]

return top