写了个爬虫用的小工具： LazySpider 发布啦！

from lazyspider.lazyheaders import LazyHeaders # 注意！字符串要包裹在 三引号 或 双引号 里 curl = "curl 'https://pypi.python.org/pypi' -H 'cookie: .....balabala...." lh = LazyHeaders(curl) headers = lh.getHeaders() cookies = lh.getCookies() print('*' * 40) print('Headers: {}'.format(headers)) print('*' * 40) print('Cookies: {}'.format(cookies)) print('*' * 40) import requests r = requests.get('https://pypi.python.org/pypi', headers=headers, cookies=cookies) print(r.status_code)

输出如下:

**************************************** Headers: {'origin': 'https', 'accept-encoding': 'gzip,deflate,br', 'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,mt;q=0.7', 'upgrade-insecure-requests': '1', 'user-agent': 'Mozilla/5.0(Macintosh;IntelMacOSX10_13_2)AppleWebKit/537.36(KHTML,likeGecko)Chrome/63.0.3239.84Safari/537.36', 'content-type': '', 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'cache-control': 'max-age=0', 'authority': 'pypi.python.org', 'referer': 'https'} **************************************** Cookies: {'__utma': '32101439.146958433.1508462081.1509339065.1512998855.2', '__utmz': '32101439.1512998855.2.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided)', '_ga': 'GA1.2.146958433.1508462081', '_gid': 'GA1.2.555764366.1513659919', 'login_nonce': 'V649T4tBPTqQmg87ElGoHXQFviJkoz', 'pypi': '520cfc4475316b0c3fc41091af563886'} **************************************** 200

是不是很方便呢？

lazystore

目前只封装了mysql的操作，用法也简单

初始化数据库连接

from lazyspider.lazystore import LazyMysql # 数据库配置 TEST_DB = { 'host': '127.0.0.1', 'user': 'root', 'password': 'xxx', 'db': 'EhcoTestDb' } # 初始化数据库链接 store = LazyMysql(TEST_DB)

保存数据

# 将要保存的数据以字典格式存储 data = {'id': 1, 'name': 'ehco', 'age': 20} # 新增数据的方法 # 只需要传入 数据<dict> 表名 两个参数 state = store.save_one_data(data, 'testtable') print(state) # 数据保存成功会返回 1 # 保存失败会返回-1 并答应错误堆栈 >>1

删除数据

# 这里我将 id 为 1 的数据删除 state = store.delete_by_field('testtable','id','1') print (state) >>1

更新数据

# 这里我更新 id 为 1 的 name 字段 data = {'id': 1, 'name': 'superehco', 'age': 20} state = store.update_by_id(data, 'testtable', '1') print(state) >>1

查询数据

# 这里我更新 id 为 1 的 name 字段 res = store.find_by_field('testtable', 'age', '20') print(res) # 返回的是一个列表，每条查询记录都以字典格式返回 ''' [{'id': 1, 'name': 'superehco', 'age': 20}, {'id': 2, 'name': 'lurenjia', 'age': 20}] '''

SQL 语句查询

# 手撸 sql 也是必备的 sql = "select * from testtable" res = store.query(sql) print(res) ''' [{'id': 1, 'name': 'superehco', 'age': 20}, {'id': 2, 'name': 'lurenjia', 'age': 20}] '''

结语

目前也就做了这两个非常小的功能，但这些都是我在平日里工作中每天都需要打交道的事情

大家有什么好的想法可以一起开发~ 该项目已经放在GitHub上啦地址： https://github.com/Ehco1996/lazySpider

最后求个 Star 不过分吧~

id'

Headers