
我的业余项目,http://www.codedata.cn ,收集了国内很多优秀程序员的博客。可以更快了解他们最新的研究方向
一、 想法来源
最开始其实就是自己平时关注 博主的博客, 然后定期的是他们的网站上看看有没有更新,
然后有的时候就必须都点一遍才能看完他们的博客,然后就在想自己做一个小爬虫, 收集一些自己感兴趣的博主。这样就可以看速的浏览自己感兴趣的文章了, 当然了 顺便也是想练练自己的爬虫技术(逃....)
二. 遇到的问题
在做的过程中, 就发现遇到了很多的问题, 比如那么多的博客, 每个博客的主题、网站结构都不一样、代码的模板不一样等等, 然后自己就想如何使得爬取的内容更加的展现的更加友好一些, 最后不断的改进爬虫的底层架构, 更加友好的处理图片、处理不同的网站结构、不同的代码主题....
慢慢的发现自己 从一个爬虫小菜鸟 竟然成长为一个 爬虫大菜鸟了。
三、关于未来
其实 做这个站的目的,更多也是学习的心态,在运营的过程中学会了,如何做 SEO、如何运营、如何设计产品、当然也是尝试各种爬虫姿势, 。更重要的是中间交流到了一些朋友,而不是局限在程序员的自己的世界里。
四、写在最后
如果大家有什么建议, 欢迎大家留言,或者加我的微信也可以的哈(xiaobei060537, 注明来源即可)
1 dengxuejiu 2017 年 10 月 31 日 via Android 这波资源整合就很有灵性 |
2 meeasyhappy OP |
3 whileFalse 2017 年 11 月 1 日 via iPhone 楼主重新发明了 RSS |
4 YYYeung 2017 年 11 月 1 日 看成了 iOS 的 Core Data 了,进来感觉画风不太对,点进去网站,发现画风完全不对 |
5 hellobanny 2017 年 11 月 1 日 @YYYeung 同看成了 CoreData |
6 meeasyhappy OP @YYYeung 哈哈 笑 cry... |
7 affiliatexe 2017 年 11 月 1 日 用什么语言爬的? |
8 meeasyhappy OP @affiliatexe ruby |
9 meeasyhappy OP @YYYeung 是的哈 |