推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3593 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在试着爬银行帐单的网页，需要 Login
Login 是一个 AJAX 的 POST ，在用 Chrome 抓包分析了 Header 跟 Payload 之后，用 POSTMAN 验证了
header 需要
X-Requested-With
User-Agent
Content-Type
Payload 需要
requestTimestamp
user
password
用 POSTMAN 加上以上字段进行试验，可以得到 200 的返回，一切正常
后用 Python 的 Requests 库写了一个爬虫 用了 Session
s = requests.Session()
r = session.post(login_url, params=login_payload, headers=login_header, allow_redirects=True)
login_payload 和 login_header 里的数据与 POSTMAN 里用的一样，但是却是 500 的返回
想请教一下排查思路，如果做法有误也请不吝指出
Login 是一个 AJAX 的 POST ，在用 Chrome 抓包分析了 Header 跟 Payload 之后，用 POSTMAN 验证了
header 需要
X-Requested-With
User-Agent
Content-Type
Payload 需要
requestTimestamp
user
password
用 POSTMAN 加上以上字段进行试验，可以得到 200 的返回，一切正常
后用 Python 的 Requests 库写了一个爬虫 用了 Session
s = requests.Session()
r = session.post(login_url, params=login_payload, headers=login_header, allow_redirects=True)
login_payload 和 login_header 里的数据与 POSTMAN 里用的一样，但是却是 500 的返回
想请教一下排查思路，如果做法有误也请不吝指出
 | 1 Strikeactor 2016-01-04 13:47:51 +08:00  1 |
 | 2 shidenggui 2016-01-04 13:54:29 +08:00 1 用 OrderedDict 指定下参数顺序看下，有些网站会检查这个，不过概率很低。 最好你打下 requests 的 log 跟你发送的对比下看看 |
 | 3 Caratpine 2016-01-04 14:02:20 +08:00  1 有可能是 login 这个请求之前，网站加载了另外一些请求，这些请求当中有可能 set 了一些必要的 cookie |
 | 4 braineo OP @Strikeactor 好工具 |
| 5 braineo OP @shidenggui 下班回去试试 |
| 7 Caratpine 2016-01-04 14:40:39 +08:00 @braineo 我觉得算是一种吧，我之前也抓过一个网站，在加载一个 js 文件的时候 set 了一个必要的 cookie ，我之前用的验证工具如果不清理本地 cookie 的话，即使你模拟的 header 里面没有加 cookie ，这个工具也会在模拟的时候读取你的本地 cookie ，比较坑爹，所以我觉得你这种情况和我之前遇到的问题很类似。 |
 | 8 dapang1221 2016-01-04 14:59:20 +08:00 via Android 1 直接抓爬虫的流量，和正常访问比较一下 |
Select Language