推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3341 天前的主题，其中的信息可能已经有所发展或是发生改变。
具体的问题是：
我想把开放选课的时候某个课程的开班信息爬下来，然后我在第一次爬某个课程的开班信息成功爬了下来，然后我想爬其他的课程，结果我用相同的函数爬的时候，程序因为 TooManyRedirects 而结束了。为什么第一次爬的时候没有问题，第二次就出现问题了？
我爬几次所有可选课程都没有出错，但是在开班信息这里出现问题了，我在想是不是因为开班信息是在新窗口打开的？但是真正的原因是什么？
我想把开放选课的时候某个课程的开班信息爬下来，然后我在第一次爬某个课程的开班信息成功爬了下来，然后我想爬其他的课程，结果我用相同的函数爬的时候，程序因为 TooManyRedirects 而结束了。为什么第一次爬的时候没有问题，第二次就出现问题了？
我爬几次所有可选课程都没有出错，但是在开班信息这里出现问题了，我在想是不是因为开班信息是在新窗口打开的？但是真正的原因是什么？
 | 1 bianchensz 2016-09-12 08:49:33 +08:00 随便搜了一下 |
 | 2 scnace 2016-09-12 09:10:22 +08:00 via Android f12 network 有惊喜 正方都是 iframe 。。。 |
 | 3 coderwen 2016-09-12 09:16:29 +08:00 同楼上，注意 network 抓包详情，如果有跳转记得点个 preserve log |
 | 4 xyxc0673 OP @coderwen 实际上网页并没有跳转，而且我第一次爬的时候并没发生 TooManyRedirects 这个问题，但是在第二次爬的时候就出现上述问题，搞不清楚是什么原因 |
| 5 xyxc0673 OP @bianchensz 加了 headers |
 | 7 zonghua 2016-09-12 17:31:04 +08:00 对于抓取的过程大家有什么建议吗？因为按顺序流程访问要函数里面写一大段代码，怎么样可以优化设计模式 |
Select Language