V2EX mimvp
 mimvp 最近的时间轴更新
米扑深入研究爬虫技术六年,开源了代码示例:
https://github.com/mimvp/mimvp-proxy-demo
2018-05-14 16:55:54 +08:00
开一家公司,实现梦想
2017-08-08 21:37:34 +08:00
mimvp

mimvp

米扑,小而美,简爱
  北京米扑科技有限公司 / CTO
V2EX 第 247360 号会员,加入于 2017-08-07 19:31:00 +08:00
中科院读研,曾工作于百度、小米、阿里巴巴
现从阿里辞职,自主创业,成立了米扑科技

米扑科技,小而美,简爱。
一米阳光,扑向美好生活。
mimvp 最近回复了
2018-12-03 20:45:27 +08:00
回复了 zjsxwc 创建的主题 程序员 微信公众号支付的退款求助
@mimvp 解决步骤:
1、登录微信支付商家版
2、账户中心 > API 安全 > API 证书
3、可以看到提示"你的 API 证书已到期,相关 API 接口不可使用,请尽快联系管理员更改证书!"
4、更新下证书的过期时间即可,不需要重新下载、替换证书
例如:
我的证书更新前是“ 2016-11-21 到 2018-11-21 ”,更新后的有效期是“ 2016-11-21 到 2019-11-21 ”
再刷新微信支付的退款,即可成功了,问题解决
划重点:更新证书有效期即可,没必要重新下载、更新证书,谢谢。
2018-12-03 20:41:52 +08:00
回复了 zjsxwc 创建的主题 程序员 微信公众号支付的退款求助
遇到同样的问题,是微信支付的证书过期了,我刚解决了
2018-05-15 09:02:39 +08:00
回复了 upczww 创建的主题 互联网 竟然有人去 DDoS 阮一峰的博客
阮总可是技术大佬呀,小白自不量力,刚看了阮一峰博客在 IT,互联网,科技,技术博客网站推荐( t/454875
2018-05-14 17:39:48 +08:00
回复了 llllllucas 创建的主题 Python Python scrapy response 编码问题
@llllllucas 嗯,unicode 转义的问题

```
def parse(self, response):
mimvp_url = response.url # 爬取时请求的 url
body = response.body # 返回网页内容

print("mimvp_url : " + str(mimvp_url))
print("body : " + str(body))

# unicode_body = response.body_as_unicode() # 返回的 html unicode 编码
# print("unicode_body : " + str(unicode_body))
```
@mimvp 可以直接下载源码,稍微修改下,就可以直接运行的,执行命令看下注释,很简单的,我成功了
可以的,Python scrapy 框架专门就是为了爬虫而生,具体使用可以在 github 上搜索下开源的项目
我使用 scrapy 框架做爬虫,需要使用到代理 IP,参考了 github 源码:
https://github.com/mimvp/mimvp-proxy-demo/tree/master/PythonScrapy
爬虫采集、自动化测试 /操作的范畴
具体解决方案:Python + Selenium + Xvfb + Firefox/Chrome
具体可参考米扑博客: https://blog.mimvp.com/article/12219.html
2018-05-14 17:11:17 +08:00
回复了 Jay54520 创建的主题 Python Python2 显示 unicode 的问题
直接给出结果,看“ utf-8 ” 相关的行
源码请见米扑博客: https://blog.mimvp.com/article/4441.html


#!/usr/bin/env python
# -*- coding:utf-8 -*-
#
# mimvp.com
# 2015-11-09


import urllib, urllib2
import base64
import socks, socket # 需要引入 socks.py 文件,请到米扑代理示例下载

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

# 全局取消 ssl 证书验证,防止打开未验证的 https 网址抛出异常
# urllib2.URLError:
import ssl
ssl._create_default_https_cOntext= ssl._create_unverified_context
把详细的错误信息贴出来,看是不是被网易邮箱屏蔽了
若被服务器屏蔽了,可以考虑使用代理 Ip 来爬取
Selenium + Firefox + Python 代码示例:
https://github.com/mimvp/mimvp-proxy-demo/tree/master/SeleniumPython
2018-05-14 16:54:17 +08:00
回复了 xfw 创建的主题 Python 小白求助, Python 3.6.1 环境, selenium 执行定义浏览器异常
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5225 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 16ms UTC 08:58 PVG 16:58 LAX 01:58 JFK 04:58
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86