[教程分享] 我是如何写爬虫并且快速建立三个图片站

大家也看到之前几周我推的三个网站 [ 1000 系列]
* 一下子打开 1000 张 GI http://iguooo.com/
* 妹子 x100 http://www.wulangdashu.com/
* 十万个日式冷笑话 http://www.iguooo.cn/

也是我无聊至极写写爬虫，快速搭建的几个网站。

我会说几个关键点，
1. 爬虫
2. 建站
3. 费用， 为什么有广告
4. 粘度 & SEO 的反思



一。 爬虫

研究了下几个著名的爬虫框架：
* PySpider
* Scrapy

这几个都是比较广义的爬虫，给一个入口然后通过页面中的链接不断抓取。
对于我来说，我有特定的目标页面和目标页面特定的元素需要爬取。
于是便放弃了大型框架， 自己做一个定义一个小型脚手架。

自定义的爬虫，就是维护一个队列，维护一个消费者线程池和一个生产者线程池。外加一个 monitor 线程用于统计队列情况。



* 利用 Redis 的原子性操作，可以做去重。
* 利用 Redis List 的 push ， pop 的原子性可以做同步的生产消费队列
* 爬取网页用了 requests + BeautifulSoup 分析
* 资源后续处理使用 requests 下载资源，七牛的库上传七牛云端
* 想持续抓取，可以将爬虫加入到 celery 定时任务中

BaseSpiderClass 代码 ：



二：建站

因为是做着玩的项目， 爬虫和 web 部分都放在一个项目中。
然后现在一个项目里面要承接多个 web 项目，每一个项目用的是独立域名，所以就放弃了使用 Flask 的 Blueprint 来配置子域名。
（有兴趣配置 Blueprint 的同学可以移步 https://github.com/awanabe/FlaskBluePrintDemo 我老早做的一个 Blueprint 的 demo ）

于是就对原先的 nginx -> uwsgi -> flask 的模式做了一对多的改进。

> 原先一般的 Flask 项目结构是这样的

├── config.py # 配置文件
├── main.py # 项目入口， 从 service 中引出 flask app ，供 uwsgi 调用
├── service # 项目
├── ├── static # 静态文件夹
│ │ ├── css
│ │ ├── fonts
│ │ ├── img
│ │ └── js
│ ├── templates # 模板文件夹
│ └── router.py # flask app 初始化 + router
└── requirement.txt


> 改造之后，建立多个项目和对应的项目入口，静态资， config 文件，工具类，数据 model 都可以公用。

├── config.py # 配置文件
├── static # 静态文件夹
│ ├── css
│ ├── fonts
│ ├── img
│ └── js
├── utils
├── model.py
│
├── main_01.py # 项目入口， 从 service 中引出 flask app ，供 uwsgi 调用
├── service_01 # 项目
│ ├── templates # 模板文件夹
│ └── router_01.py # flask app 初始化 + router
│
├── main_02.py
├── service_02
│ ├── templates
│ └── router_02.py
│
├── main_03.py
├── service_03
│ ├── templates
│ └── router_03.py
│
└── requirement.txt





* nginx 配置多域名
* uwsgi 开启多 worker 模式，尽可能的
* 节约公共云资源，使用本地静态资源配置，所以开启了 nginx 的静态资源域名
* 全部存储都基于 Redis ，不使用 MySQL 。数据库在服务器中占用内存， IO 都是挺大的。直接用 Redis 查询写入速度大大提升。

这样就在一台主机，一个项目里面建立起了多个网站。


三。费用， 为什么有广告

> 支出
* 阿里云服务器 1G 内存 + 1Core + 3M 带宽 = 150 元 /月
* 七牛 因为我的自信，直接 po 上了 1000 张 GIF 的页面， 导致半天时间消耗流量 500G 。 直接扑街， 耗费 150 元。然后改为本机做静态资源
* 域名 2 个 com+1 个 cn = 100 左右
* 在 V2EX 上置顶，消耗 2000 个铜币 ~ 60 元吧
* 时间 5x8 小时

> 收入
* 在被七牛重重打击之后，无奈加上了 adsense 广告。有两天因为 V 友帮忙点击，超过了 1 刀一天。大部分一天 0.1~0.5 刀直接 = 8 刀 /28 天

== 巨大的坑。不可能回本嘛。。所以骂我广告的然后 Block 我的，我真心不是愿意挂广告的。


四。粘度 & SEO 的反思

* 一共三个网站，流量比较好的是 GIF 和日式冷笑话，单纯的妹子图不怎么样。 流量比 10 ： 1 。 => 有故事有阅读的内容比较有粘度
* 网站内容的增长几乎为 0 ，我大部分都是一次性爬取的资源。 而且以图片为主，导致搜索引擎无法抓取有效关键词。从搜索引擎进来几乎为 0 。（有评论会好点
* 图片类型网站重资源消耗，所以文字类型网站 SEO 会好做很多。
* 在 V 站，妹子图的帖子的收藏很高很高，回复超级少（宅男们，你们很厉害。。