推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
求助： selenium chrome 模拟真实请求 DHL 跟踪数据返回 Access Denied 怎么破？使用随机代理+随机 UA 仍然不行
yasea 2021-12-03 10:24:36 +08:00 1970 次点击这是一个创建于 1416 天前的主题，其中的信息可能已经有所发展或是发生改变。
chrome_optiOns= webdriver.ChromeOptions()
chrome_options.add_argument('--disable-gpu')# win 必须使用该选项
chrome_options.add_argument('log-level=2')#屏蔽日志
chrome_options.add_argument('--disable-software-rasterizer')
chrome_options.add_argument("--disable-extensions")
chrome_options.add_argument('--disable-logging')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--ignore-ssl-errors')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument("--window-size=1220,800")
chrome_options.add_argument('user-agent=' + spider_utils.get_ua())
chrome_options.add_argument('--proxy-server={0}'.format(proxy_ip))
prefs = {
'profile.default_content_setting_values' : {
'notifications' : 2
}
}
chrome_options.add_experimental_option('prefs',prefs)
前几个月是能正常工作的， 最近不好使了， 有经验的朋友，请帮忙瞅瞅
chrome_options.add_argument('--disable-gpu')# win 必须使用该选项
chrome_options.add_argument('log-level=2')#屏蔽日志
chrome_options.add_argument('--disable-software-rasterizer')
chrome_options.add_argument("--disable-extensions")
chrome_options.add_argument('--disable-logging')
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--ignore-ssl-errors')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument("--window-size=1220,800")
chrome_options.add_argument('user-agent=' + spider_utils.get_ua())
chrome_options.add_argument('--proxy-server={0}'.format(proxy_ip))
prefs = {
'profile.default_content_setting_values' : {
'notifications' : 2
}
}
chrome_options.add_experimental_option('prefs',prefs)
前几个月是能正常工作的， 最近不好使了， 有经验的朋友，请帮忙瞅瞅
 | 1 yasea OP 补充一下，写爬虫的主要目的是对物流单号的 DHL 跟踪数据批量截图保存，因为官方只支持查询近 3 个月的数据。 |
 | 2 45HXlKzal6W56zUJ 2021-12-03 11:57:40 +08:00 add_argument data-dir 这个目录指向你 chrome 真实的数据目录 |
| 3 yasea OP @dicc 谢谢，中午测试了下， 依然被反爬了，有时候返回 Access Denied ， 有时候返回这个： Your tracking attempt has been blocked Please note that the tracking status information on this website is intended for human consumption via the website only. It is not intended to be used for integration with your systems. Automated extraction of information by bots, website scraping etc. is prohibited. |
| 4 45HXlKzal6W56zUJ 2021-12-13 09:36:00 +08:00 兄弟,试试这个思路,我用这个思路绕过了一个网站. https://www[.]cnblogs.com/lovealways/p/9813059.html 相当于它在启动的时候,是以用户的方式启动.但是后续可以用程序控制 |
 | 6 janda 2021-12-15 15:29:27 +08:00 这个可以试试看 # 禁止网站识别自动化 chrome_options.add_argument('disable-blink-features=AutomationControlled') 自己可以在浏览器 console 打印下：window.navigator.webdriver 正常浏览器返回的 false 、chromedrive 的浏览器会是 true |
Select Language