
公司目前已有一个 PHP 项目,但是有些场景需要用到数据分析和爬虫,所以打算用 Python 的 Scrapy 做这一块。
目前想到的办法是:通过 PHP 调用 Python 一些挖掘和分析的服务,然后返回数据给 PHP ,写进数据库。
由于对 Python 这块领域是小白, Python 应该怎样封装成服务与 PHP 通信,用 Python 哪些框架封装成服务,都不太了解,忘各位给给意见,谢谢。
1 cc7756789 2016 年 6 月 2 日 不直接用 Python 写进数据库?还要返给 PHP ? |
3 jinxueliu 2016 年 6 月 2 日 可以用 Python 做成 HTTP 服务,然后 PHP 来调用 |
4 will0404 2016 年 6 月 2 日 如果是 http 通讯, python 这端起个简单的 web 服务就可以了,比如用 flask |
5 ifconfig OP @will0404 你的意思是在 flask 上搭个 Scrapy ,然后把它做成服务,供 PHP 调用吗? Python 刚学,下周就要用 flask ,不知能不能应付得来,或者有没有更轻量的框架介绍? |
7 JhZ7z587cYROBgVQ 2016 年 6 月 2 日 要不用 thriftpy 写成 thrift 服务供调用方使用? php 应该也可以用 thrift 协议的 |
9 pierre1994 2016 年 6 月 2 日 django 和 rest-framework ,弄成 rest api 应该可以 |
10 peter999 2016 年 6 月 2 日 Scrapy 太恶心了,没法整合 gevent ,建议 django+requests |
12 strider0505 2016 年 6 月 2 日 flask |
13 taozhijiangscu 2016 年 6 月 2 日 哈哈, Tornado 妥妥的。 https://r.taozj.org |
14 orange 2016 年 6 月 2 日 flask |
15 hwsdien 2016 年 6 月 2 日 上 thrift 用 rpc 接口 |
16 YUX PRO requests+flask 正解 但我觉得 python 爬完写到数据库 PHP 直接去数据库找不是更好? |
17 practicer 2016 年 6 月 2 日 @cc7756789 我也觉得直接存数据库, php 读库最实用。另外想知道为什么必须用 python 来做爬虫, PHP 不是一样可以爬嘛?换 python scrapy 不会有成本吗? |
18 ifconfig OP |
20 aljun 2016 年 6 月 3 日 via iPhone 有时间的话可以自己基于 wsgi 实现个框架满足要求 这里有个我写的轻量级的 API server基于 gevent 的 wsgi http://jolla.readthedocs.io/zh/latest/ |
21 brucedone 2016 年 6 月 6 日 flask+ docker ,打包之后随时使用。 @practicer 用 python 做爬虫没有其它的大原因,写的顺手,社区成熟,活跃,出问题都可以找的到答案, python 的 scrapy 框架也非常成熟。 |