ajax 翻页采集(fiddler2 抓取post数值)的问题 - ASP.net|论坛
- Powered by Discuz!NT Archiver
网络矿工数据采集交流
dataismoney -
15:05:42看到论坛上好多好贴与大神~非常激动，偶然间发现ajax的示例貌似不多，希望矿工大神指点此疑问！采集示例网页为 湖州中级人民法院网。比如需要翻页采集每一条判决书标题。例如（2013）浙湖刑终字第54号上诉人赵甲盗窃案刑事裁定书）每页12条，我从第2页翻到第3页用fiddler2捕获到图中的这个post数据 (226.14 K) 17:02:24在矿工里设置采集网址是：88/col/col1876/index.html&POST&/module/jslib/jquery/jpage/dataproxy.jsp?startrecord=61&endrecord=72&perpage=12&/POST&&&（请把后面的中文冒号换成英文冒号，因为英文冒号与8总是显示成:8）目的是想让他自动翻页到第三页，先采集这一页的，但是抓不到数据。查了一些资料也不知道错在哪里，对ajax采集不太懂，请大神指点！！！！我参考的是这里的ajax网页捕获示例！/resource/grule.aspx?id=72
dataismoney -
15:35:41尝试中！补充一句，我在用v5.1免费版学习采集！
网络矿工 -
17:04:52网站没有打开首先看到一个错误是：从V5.1开始，POST提交的时候是&POST:ASCII&&/POST&这样的一个标记，不是&POST&&/POST&了，ASCII是一个编码，可对post数据进行编码，默认都是ASCII码先改了这个试试如果还是不行，可能还需要cookie或者header的信息，用Fiddler测试一下
dataismoney -
19:09:44回复 多谢大神回复，新年好！这两周只顾过年都没时间好好工作，现在继续抓取！(108.38 K) 19:10:38①第一行是：在网页上手动翻页的结果， post 的字符是：/module/jslib/jquery/jpage/dataproxy.jsp?startrecord=61&endrecord=72&perpage=12结果是对的，显示正确。②第二行是在矿工里填抓到的响应 这里post字符变成了col/col1875/index.html没按照我们设定的post进行，所以抓到的还是第一页的1-12条结果。没有抓到61-72的信息。不知道这个该怎样改？我的smt文件在附件中，不知道错误怎样改正，求助！见笑了~附件:
网络矿工 -
23:25:31提供下网页操作的路径，看地址实在看不出来啊
dataismoney -
16:25:00回复 没明白，网页操作路径是指什么？
xiaoli66 -
23:28:16来看看了哦
查看完整版本:如何使用Fiddler2模拟POST和Get提交数据_百度知道
如何使用Fiddler2模拟POST和Get提交数据
我有更好的答案
按默认排序
设置-自动断点-请求之前-修改“嗅探”栏中的请求报文
其他类似问题
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁使用Fiddler2录制HTTP操作脚本
- ITeye技术网站
博客分类：
Fiddler本身是用来做web debugging的工具。其具体的介绍和更多的使用方法请参考知识库中以下文章:
Fiddler---Web调试代理工具
在线调试JavaScript和CSS
本文将详细介绍如何通过fiddler2录制http操作请求的脚本。
为了只保留操作过程中的关键请求数据，我们需要自定义fiddler的过滤项。
完整的录制步骤如下:
打开fiddler2，此时后台会启动一个代理服务器。此后所有的http请求都会经过此代理服务器进行请求转发。
配置fiddler2过滤项。
1：首先需要只保留fiddler对浏览器请求的捕捉。点击左下角处的"All processes"变成"Web Browers"即可。这样fiddler就只捕捉IE或Firefox的请求
2：指定默认的Rules。在fiddler的菜单栏中选择"Rules",弹出下拉列表后，选择以下三项:"Hide Image Requests","Remove All Encodings","Hide 304s".
自定义过滤规则。由于目前的平台4.0系统中存在有大量的循环或显示用的请求，因此还需要自定义过滤规则。
3：选择"Rules"---&"Customize Rules",在弹出的文本文件中进行修改和补充后，自定义规则即时生效。或者使用Rules插件进行修改.
在该文件中找到static function OnBeforeRequest(oSession: Session)，OnBeforeResponse方法，增加相应的过滤规则，就会相应的过滤请求。
以下为OnBeforeRequest中增加的过滤条件.附件为一修改后的脚本CustomRules.js
该文件位于C:\Documents and Settings\username\My Documents\Fiddler2\Scripts
//过滤请求不显示到界面上.
if(oSession.HTTPMethodIs("GET")){
oSession["ui-hide"] = "true";
if (oSession.uriContains("BootAndPtStatus.do")){
oSession["ui-hide"] = "true";
if (oSession.uriContains("Alarmlog.do")){
oSession["ui-hide"] = "true";
if (oSession.uriContains("SystemRun.do")){
oSession["ui-hide"] = "true";
}保存脚本。在左侧的请求序列中，选择需要保存的请求数据后，点击右键在弹出的界面中，选择"Save "-&"Sessions"-&"As Text".这样选中的请求就会以文本形式保存。
下面为保存的已录制脚本数据.
该脚本中包含三个步骤的操作:登陆-&强制登陆--&登出
POST /login.dof?action=userLogin HTTP/1.1
Accept: */*
Accept-Language: zh-cn
Referer: http://192.168.19.2:8080/login.html
x-requested-with: XMLHttpRequest
Content-Type: application/x-www-form- charset=UTF-8
UA-CPU: x86
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 ( MSIE 7.0; Windows NT 5.1; QQDownload 1.7; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)
Host: 192.168.19.2:8080
Content-Length: 30
Connection: Keep-Alive
Pragma: no-cache
Cookie: JSESSIONID=C404BAFA08A5EF1BAE2D49
username=admin&password=123456
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Content-Type: text/charset=utf-8
Date: Mon, 16 Mar :47 GMT
Content-Length: 132
{"success":false,"errors":{"exception":""},"isgrab":"[admin]正在被IP=[192.168.12.154]的用户使用中，是否抢占登录？"}
------------------------------------------------------------------
POST /login.force?action=userLogin HTTP/1.1
Accept: */*
Accept-Language: zh-cn
Referer: http://192.168.19.2:8080/login.html
x-requested-with: XMLHttpRequest
Content-Type: application/x-www-form- charset=UTF-8
UA-CPU: x86
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 ( MSIE 7.0; Windows NT 5.1; QQDownload 1.7; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)
Host: 192.168.19.2:8080
Content-Length: 30
Connection: Keep-Alive
Pragma: no-cache
Cookie: JSESSIONID=C404BAFA08A5EF1BAE2D49
username=admin&password=123456
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Set-Cookie: JSESSIONID=FD32FBA72A1BAD3ACBEB616; Path=/
Content-Type: text/charset=utf-8
Date: Mon, 16 Mar :50 GMT
Content-Length: 44
{"success":true,"message":"操作成功！"}
------------------------------------------------------------------
POST /logout.dof?action=logout HTTP/1.1
Accept: */*
Accept-Language: zh-cn
Referer: http://192.168.19.2:8080/index.html
x-requested-with: XMLHttpRequest
UA-CPU: x86
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 ( MSIE 7.0; Windows NT 5.1; QQDownload 1.7; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)
Host: 192.168.19.2:8080
Content-Length: 0
Connection: Keep-Alive
Pragma: no-cache
Cookie: JSESSIONID=FD32FBA72A1BAD3ACBEB616
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Content-Type: text/charset=utf-8
Date: Mon, 16 Mar :00 GMT
Content-Length: 59
{"success":false,"errors":{"sessionout":true,"outinfo":""}}
Fiddler 具有强大的分析、编码解码（带有一个编码解码工具）、伪装（可动态伪装为任意主流浏览器）等能力。
支持 GZIP 压缩，支持 IPv6，从 2.* 版本开始支持 HTTPS 协议以并可进行动态解密。
支持图像，XML 以及网页表单数据查看。
带有过滤器，方便过滤无关结果。还有“时间线”可以查看收到数据的先后顺序及总耗时。
还带有“请求生成器”可发送自定义数据到服务器。特有的“自动应答”功能可以直接拦截并处理来自浏览器的特定请求而不发送到服务器。
支持插件（扩展），可自定义规则（语法为 JavaScript），甚至设置断点。
不过，目前动态捕获功能似乎只适用于基于 IE 内核的浏览器。
最后，此软件完全免费。我已经用了好几个月，稳定性还是不错的。
下载：
2.* 稳定版本：/dl/Fiddler2Setup.exe
2.* 测试版本（较新）：/dl/Fiddler2BetaSetup.exe
在线帮助及视频教程：/Fiddler/help/
官方扩展列表：/Fiddler2/extensions.asp
系统要求： Windows 2000 / XP / 2003 / Vista 操作系统， Microsoft .NET Framework v2.0 或更高版本
浏览: 154726 次
来自: 杭州
啊，我也遇到了这个问题，楼主后面怎么解决了的啊
怎么引用呢，能更具体的写出来吗？
你好，这个问题我也出现了。 你是怎么解决的啊？？？？？？？
楼主不能写一个简单的html吗，自己去实验怎么用！！！！！