用R抓取百度贴吧回复中的邮箱~

直接了当见代码：
url <- "http://tieba.baidu.com/p/1787614150" #获取网页
web <- readLines(url,encoding="Latin-1") #分行
name <- web[grep('<cc><div id="post_content_',web,fixed=T)] #正则表达式找到回复所在行
pattern <- '(?<=class="d_post_content">)(.*)(\\b[a-zA-Z0-9]+@([a-zA-Z0-9]+\\.){1,2}[a-zA-Z0-9]+)(?![a-zA-Z])' #正则表达式表示邮箱格式
email.exist <- grep(pattern,name,perl=T,value=T) #提取含有邮箱的回复
email.position <- gregexpr(pattern,email.exist,perl=T) #找出邮箱的位置
email.name=0
for (i in 1:length(email.exist)){
email.name[i] <- substr(email.exist[i], attr(email.position[[i]],'capture.star')[2],
attr(email.position[[i]],'capture.star')[2]+attr(email.position[[i]],'capture.length')[2]-1)
} #提取邮箱
email.txt <- paste(email.name,collapse=';') #用分号间隔邮箱，便于发送

1.目前只能抓取一个网页的邮箱，并非一个帖子的（一个帖子可能有好几页）。抓取其他页的可以把链接改一下
2.只抓取主楼（不包括楼中楼）的包含的邮箱，如果一个回复中包含多个邮箱只抓取一个
3.抓取到的邮箱的格式为：（字母or数字）@（字母or数字）.（字母or数字）
或者: （字母or数字）@（字母or数字）.（字母or数字）.（字母or数字）
不记得能加下划线~
几行代码搞晕了将近一周，暂时休整几天。后期会改进，目标是一次抓取一个帖子里（无论多少页）所有的邮箱，另外每次只抓取新增邮箱导出并写入时间~
欢迎试用，报错，并提出改进意见~

@随便注册1989
R的写入不能随意路径，所以最后的写入还是你自己来吧哈~

另外：
休整几天后会着手尝试对贴吧近来的新增数千会员做个小统计研究，
顶我吧~ 希望能顺利完成~
另诚寻制作调查报告的高手讲下统计报告的做法，发帖或者私下教我或者到时候直接免费帮我做都可以的哈~

!!!!!!!!!!!!!好强大！！！！！！！惊了（精了），虽然表示我没看懂！！！

1.url <- "http://tieba.baidu.com/p/1787614150"相当于在浏览器中点击查看-源代码所看到的内容；
2.web <- readLines(url,encoding="Latin-1")
将源代码分行，并给予每个一个行号
3.name <- web[grep('<cc><div id="post_content_',web,fixed=T)]
在源代码中可以看懂所有的回复都是以“<cc><div id="post_content_”开头的，所以以它来抓取回复行。
grep用法：grep(pattern, x, ignore.case = FALSE, perl = FALSE, value = FALSE, fixed = FALSE, useBytes = FALSE, invert = FALSE)
pattern表示要匹配（或者说查询）的字符，我们这里在源代码查询“<cc><div id="post_content_”。x是原数据，在x中查询pattern。
其中fixed = FALSE时pattern表示正则表达式fixed = TRUE时pattern是字符串（正则表达式和字符串的用法不一样）
value = FALSE时函数返回匹配到的位置，=T时返回匹配到的内容。
这里即是从源代码中查询包含“<cc><div id="post_content_”的行并将其内容赋值给name
4.pattern <- '(?<=class="d_post_content">)(.*)(\\b[a-zA-Z0-9]+@([a-zA-Z0-9]+\\.){1,2}[a-zA-Z0-9]+)(?![a-zA-Z])'
正则表达式表示邮箱格式，正则表达式很麻烦，不细说了,可百度一下看详细用法
5.email.exist <- grep(pattern,name,perl=T,value=T)
提取含有邮箱的回复，跟3用的一样的函数，找到包含邮箱的回复行
6.email.position <- gregexpr(pattern,email.exist,perl=T)
找出邮箱的位置，gregexpr返回匹配到字符的位置，从第几个字符开始，长度如何，可以输入email.position回车看看返回的内容。详情参看R的帮助文档中gregexpr函数的介绍
7.最后一个循环借用gregexpr函数返回的邮箱位置，用substr函数提取出来。
substr用法：substr(x, start, stop)表示从字符串x中提取从star到stop的字符

电脑盲路过。。。

我这里倒是有一个用VB编的读全贴邮箱的东西……

R需要这么强！！厉害，准备开始学习

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

12回复贴，共1页

<<返回统计狂魔吧

分享到:

日	一	二	三	四	五	六