动态数据、防盗链的网站如何用Excel抓取

1、首先用chrome登录网页，并且按F12打开开发者工具并刷新页面

2、之后点击开发者工具的“Network”选项卡，再点击“js”选项卡，可以看到很多的js文件，这些都是该网页请求的外部js。

3、依次点击这些JS文件并且查看，会看到预览中有如下这个document.getElementById("articleClickCount").innerHTML = 1409; document.getElementById("articleCommentCount").innerHTML = 6;这就是我们要抓取的阅读数和评论数

4、把这个js的网站新链接提取出来，经过和原来的链接进行对比可以用伪代码写成：

新链接 = "http://click.tool.hexun.com/click.aspx?articleid=" & Split(Split(原始链接, "/")(3), "_")(0) & "&blogid=0"

5、打开excel，再alt+f11打开宏编辑器，在模块中写入如下代码

Sub 网页抓取()

For Each a In Selection

URL = "http://click.tool.hexun.com/click.aspx?articleid=" & Split(Split(a, "/")(3), "_")(0) & "&blogid=0"

Set xmlhttp = CreateObject("WinHttp.WinHttpRequest.5.1")

With xmlhttp

.Option(6) = 0

'http://www.88ms88.com/Main/Sports/

.Open "GET", URL, False

.setRequestHeader "Referer", a

.setRequestHeader "Connection", "Keep-alive"

.setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"

.SEND

a.Offset(0, 1) = .responsetext

End With

Set xmlhttp = Nothing

Next

End Sub

6、回到excel界面，在a1单元格中输入网址

7、选择a1单元格，按alt+f8弹出宏，并且运行宏“网页抓取”

8、之后会在B1单元格弹出结果