新作品,论坛二手交易信息搜索引擎 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Shevckcccc
V2EX    分享创造

新作品,论坛二手交易信息搜索引擎

  •  
  •   Shevckcccc 2013-11-18 15:32:50 +08:00 9548 次点击
    这是一个创建于 4355 天前的主题,其中的信息可能已经有所发展或是发生改变。
    这是在v2ex上发布的第三个项目。

    依旧还是爬虫+聚合(为什么老是做聚合。。因为我一直在努力的尝试怎么做才能降低运营成本,聚合比较简单省力,一个人也能照顾的过来,当然,这只是起点不是终点)

    网站名称: 找闲置
    网站地址: www.zhaoxianzhi.com (找闲置全拼,界面请吐槽)
    网站定位: 论坛二手交易信息搜索引擎



    项目初始的想法来自于一淘网,大家知道一淘网是做购物搜索的,它抓取的是各大B2C站点的商品信息(比如京东易迅),然后聚合起来做比价搜索。于是我就想是不是可以做一个基于BBS的购物搜索引擎呢,事实上个人卖东西的话,除了58,赶集,淘宝这些之外,在很多BBS论坛上也存在有大量的高质量的交易信息(比如v2ex的交易节点),如果把这些信息聚合到一起的话,也是一个很可观的资源。


    欢迎大家帮忙测试吐槽,谢谢啦


    以下是一些补充说明:

    1. 在线论坛远比我预想的少,很多原先活跃的现在都已经没有什么人气了,一些本地论坛倒是有一点交易数据,但却不适合放上来,所以能用的资源真是特别少

    2. 一淘有比价和商品分类,比价在二手商品里面可能用处不大,但商品分类我真的有想过要做的,不过这个归类的难度实在太大了,还没想好怎么实现。

    3. 界面是东拼西凑搞定的,每次打开网站看到这么渣的界面都特别影响心情,但以我的能力,也只能做到这一步了。。请大家多提点意见。
    第 1 条附言    2013-11-20 23:15:45 +08:00
    今天重新画了一下界面,新界面 http://www.zhaoxianzhi.com 老界面:http://www.361.im
    49 条回复    1970-01-01 08:00:00 +08:00
    LetFoxRun
        1
    LetFoxRun  
       2013-11-18 16:02:16 +08:00 via Android
    代码开源了没,求开源代码(如果可以的话),谢谢。
    9hills
        2
    9hills  
       2013-11-18 16:05:00 +08:00
    ls。。。莫做伸手党
    LetFoxRun
        3
    LetFoxRun  
       2013-11-18 16:18:50 +08:00 via Android
    @9hills 我是看他之前帖子,评论中提到过开源。所以就脸皮厚了点求代码了。
    yaway
        4
    yaway  
       2013-11-18 16:29:40 +08:00   1
    推荐几个之前逛的坛子
    家电论坛-交易区:http://www.jdbbs.com/forum-97-1.html
    耳机大家坛-二手区:http://www.erji.net/thread.php?fid=8
    iMP3-交易版:http://bbs.imp3.net/forum-63-1.html
    电玩巴士-交易区:http://bbs.tgbus.com/forum-50-1.html
    Gawie
        5
    Gawie  
       2013-11-18 16:36:24 +08:00
    关注,有着同样的想法,不过想做其他行业
    Shevckcccc
        6
    Shevckcccc  
    OP
       2013-11-18 16:48:43 +08:00
    @LetFoxRun


    谢谢评论 :) 其实每次被v友求开源心里都感觉特别惭愧,求开源在v2ex里面应该是很正常的事情,不过我也刚学会写python,现在的代码依旧混乱不堪,幸运的是我还有很多小项目要做,所以我争取明年放几个开源的项目上来吧,今年的这几次真是不行了。

    @9hills 谢谢
    Shevckcccc
        7
    Shevckcccc  
    OP
       2013-11-18 16:51:17 +08:00
    @yaway 谢谢! imp3我有关注,后来太懒了没有爬,下次有空把这些都加上,非常感激。
    LetFoxRun
        8
    LetFoxRun  
       2013-11-18 16:54:34 +08:00 via Android
    @Shevckcccc
    嗯。很惭愧,直接开口就要了。没事主要想知道你聚合是怎么实现的,没事,谢谢了。
    9hills
        9
    9hills  
       2013-11-18 17:12:17 +08:00
    @LetFoxRun 恩,我没注意,抱歉啊
    Shevckcccc
        10
    Shevckcccc  
    OP
       2013-11-18 17:19:56 +08:00 via iPhone
    @LetFoxRun 我用的requests + pyquery,晚上有空给你个代码,很简单,关键是自己要动手写
    forest520
        11
    forest520  
       2013-11-18 18:03:38 +08:00 via iPhone
    如果论坛代码变了 你的爬虫抽取部分是不是要改呢?
    vipdomain
        12
    vipdomain  
       2013-11-18 20:53:14 +08:00
    我是觉得这类需求应该不是很大
    论坛二手交易注定只能是小圈子生意
    个人浅见,楼主莫怪
    taresky
        13
    taresky  
       2013-11-18 21:17:31 +08:00 via iPhone
    @vipdomain

    还真不是吧,大部分二手数码交易都发生在论坛才对…
    vipdomain
        14
    vipdomain  
       2013-11-18 21:24:12 +08:00
    @taresky
    嗯,这个我赞同
    我的意思是
    论坛二手交易 基本就是些熟客交易(至少ID眼熟?)
    但是如果情景是这样的
    我在楼主的站上面看到某个论坛的某个二手数码,比较感兴趣,我注册一个新帐号去交易,交易起来应该会有一些障碍吧?
    Shevckcccc
        15
    Shevckcccc  
    OP
       2013-11-18 21:42:12 +08:00
    @LetFoxRun 这个是最简单的爬虫,我爬了一点饮水思源的交易数据,看看就知道怎么写了。

    https://gist.github.com/Shevckcccc/7527414
    Shevckcccc
        16
    Shevckcccc  
    OP
       2013-11-18 21:50:00 +08:00   1
    @vipdomain 是的,不过大部分论坛都是discuz做的,变动不大。像学校BBS的这种,一般更是几年都不会变。


    @vipdomain 对的,合适的论坛并不多,请看我的补充说明第一条 [一些本地论坛倒是有一点交易数据,但却不适合放上来] 。 论坛式微,这也是没有办法的事,像weiphone这种广域的论坛还是太少了。豆瓣里也有一些,不过总的来说,整体还是不景气。除非我增加用户所在地功能,然后再细分论坛,但这样的工作量就多了


    @taresky 谢谢讨论,数码类的在线交易比较多,所以我选的大部分都是数码类的:D
    yywudi
        17
    yywudi  
       2013-11-18 22:33:22 +08:00
    我就知道weiphone 机锋,塞班论坛 这几个
    depress
        18
    depress  
       2013-11-18 23:08:33 +08:00
    首先非常感谢楼主这个聚合,很方便,然后补充几个数码类的站,能爬上最好了:
    Hi!PDA(需要登陆才能看到):http://www.hi-pda.com/forum/forumdisplay.php?fid=6
    PCINLIFE:http://we.poppur.com/forum-137-1.html
    PCEVA:http://bbs.pceva.com.cn/forum-53-1.html
    耳机大家坛:http://www.erji.net/thread.php?fid=8
    imp3:http://bbs.imp3.net/forum-63-1.html
    zasv:http://www.zasv.com/forum-110-1.html
    anzhi:http://bbs.anzhi.com/forum-107-1.html
    hiapk:http://bbs.hiapk.com/forum-187-1.html
    jdbbs:三个交易区,就不贴地址了。
    thinkxen
        19
    thinkxen  
       2013-11-18 23:31:33 +08:00 via Android
    不错,支持。
    sohoer
        20
    sohoer  
       2013-11-19 10:07:52 +08:00
    一淘能直接赢利,这个难
    jjplay
        21
    jjplay  
       2013-11-19 10:50:24 +08:00
    @sohoer 这的确是个问题,不过页面里可以通过智能识别 检索商品类别 名称 调取 推送一些淘宝客 和一些返现广告 或者 adsense也能很好的识别,这样应该至少可以微利吧。
    vipdomain
        22
    vipdomain  
       2013-11-19 11:00:56 +08:00
    买二手,安全很重要。
    楼主这个月转型为专业中介 提供服务
    wxstorm
        23
    wxstorm  
       2013-11-19 11:25:52 +08:00
    @Shevckcccc 我也觉得细分有必要,如果是论坛交易,受众还是本地用户,而且一般希望面交,这样才有保证(毕竟论坛的可信度不高,面交看到东西才放心。)
    如果只是这种广义的搜索,意义不大,我完全可以去本地的几个论坛自己去看。
    但如果按地域分类了,不管你来自哪个论坛,我能搜到本地的交易,看起来就方便多了,也确实有用。
    wxstorm
        24
    wxstorm  
       2013-11-19 11:45:50 +08:00
    真是赞楼主的执行力~~~
    还有那些带点小清新的域名~~mogufu不错~~
    banbanchs
        25
    banbanchs  
       2013-11-19 13:12:08 +08:00
    好想法,建议分出城市,方便同城交易
    Shevckcccc
        26
    Shevckcccc  
    OP
       2013-11-19 13:55:23 +08:00
    @depress 谢谢补充,晚上有空回去加上,需要登录验证的可能搞不了,有点麻烦。。


    @jjplay @sohoer 其实一开始没有想过盈利的问题,现在还不知道怎么推广,没精力没时间也没人一起,流量少做什么都不管用啊!如果以后真的用的人多,倒是可以学学苹果团的做法,自己开网站卖东西总是更方便一点

    @vipdomain 二手的安全问题,其实我这边还有另一个关于此的小项目,当初研究了一段时间,但后来精力实在不够,所以就放弃了

    @wxstorm 一个人做,功能太多搞不过来啊!细分的话实现起来比较麻烦,太花时间啦,我现在是宁愿功能越少越好。。呵呵!mogufu不是我的第一个豆瓣系域名,还有比如doubanhouse.com之类的当时也注册了几个,很早的那段时间,老是想做点豆瓣的app,但豆瓣的API实在太弱了(好在我现在已经学会了爬虫),更新也特别慢。所以之后就不了了之了。

    @thinkxen @banbanchs 谢谢支持
    sedgwickz
        27
    sedgwickz  
       2013-11-19 14:34:17 +08:00
    lz可以开放出api,我来搞一个iPhone版本:)
    wxstorm
        28
    wxstorm  
       2013-11-19 15:46:28 +08:00
    @Shevckcccc 觉得你做很多个小产品不如把一个做完善~
    借用 黑客与画家里一句话, 做你觉得很困难很麻烦的部分,才能真的产生价值~
    scalaview
        29
    scalaview  
       2013-11-19 16:25:56 +08:00
    之前我也做过这种聚合,主要是imp3,塞班和太平洋的,UP这个更多更全了
    里面好像没有爬塞班闲置区的信息,那边有很多信息
    http://bbs.dospy.com/forum-141-1.html
    sohoer
        30
    sohoer  
       2013-11-19 16:48:19 +08:00
    一淘能够通过TITLE信息智能分类,你要实现这功能,才有看头。
    Shevckcccc
        31
    Shevckcccc  
    OP
       2013-11-20 23:14:19 +08:00
    不好意思,昨天晚上比较忙,正在重画界面,所以站点的爬取被我延后了,周末会完成。

    @sedgwickz 我只写过java的RESTful生成json,python的还没搞过!api的优先级在界面和功能之后,等我把网站搞定了再说。。有兴趣的话可以一起搞。


    @wxstorm 你是对的。。谢谢!不过现在除了想方法的控制后期运营成本之外,也在想办法控制开发的时间和成本,小产品一路做减法,是为了给更重要的事让路啊,小产品的定位是:支线+前途不大+搞着玩+不花时间,不过刚刚我重构了一下页面,把城市的标签加上去了,但功能真的确实还没想好怎么实现。。

    @scalaview 恩,周末看情况把加闲置区加上:D
    momo5269
        34
    momo5269  
       2013-11-21 01:13:59 +08:00   1
    那啥 好像很多硬件媒体的下属论坛都有 但是除了没zol太平洋和小熊8080都没逛过啊
    crny520
        35
    crny520  
       2013-11-21 08:33:54 +08:00
    @Shevckcccc requests和httplib功能上有什么不同?
    Numbcoder
        36
    Numbcoder  
       2013-11-21 09:29:35 +08:00
    很不错。
    V2EX 肿么没收录?
    yelite
        37
    yelite  
       2013-11-21 09:46:02 +08:00
    @Shevckcccc SJTU的吗?居然能在这里见到校友
    Shevckcccc
        38
    Shevckcccc  
    OP
       2013-11-21 20:17:55 +08:00
    @momo5269 哇,这么多,太感谢啦! 我一直觉得能爬的论坛太少,没想到你一下子就贴了这么多。论坛地域细分我还在考虑怎么实现,谢谢啦
    Shevckcccc
        39
    Shevckcccc  
    OP
       2013-11-21 20:34:22 +08:00
    @crny520 功能上应该没有什么不同,但requests写起来特别简单顺手,用requests可以很方便的保留cookie和header,并在下一次请求时再次使用


    @Numbcoder 因为我觉得v2ex现在的氛围很好啊,这么安静优质的地方,如果有太多闲杂人等来刷帖做广告卖假东西就不太好了。。我做的那个站还是面向的是普通用户


    @yelite 不是,只是一个demo :D
    momo5269
        40
    momo5269  
       2013-11-22 02:59:10 +08:00
    @Shevckcccc里面有几个没有交易区或者不活跃的...地域问题主要是8080之类论坛,他是南京的
    momo5269
        41
    momo5269  
       2013-11-22 03:09:59 +08:00
    我上面网站有一两个可能没有交易区,有几个因为论坛规模可能交易区不够活跃。
    贴吧平台信息多活跃度高,有时候分类信息平台和跳蚤街也有惊喜,但是不好抓...
    其实里面还漏了不少手机相关和数码相关(比如家电坛)

    网上三好街的论坛之类,都是地域类型的;多玩、电玩巴士之类网站,主要是游戏相关的;其余的很多论坛光名字就决定了局限性,比如手电坛、外设坛和准系统坛
    Shevckcccc
        42
    Shevckcccc  
    OP
       2013-11-22 21:04:13 +08:00 via iPhone
    @momo5269 恩,你知道的好多!这些我大部分都没逛过,这周末看一下,把能加的尽量加上,Thanks!
    Shevckcccc
        43
    Shevckcccc  
    OP
       2013-11-23 22:55:39 +08:00
    今天写了一会程序,新增 [家电论坛] [耳机大家坛] [IMP3] [电玩巴士] [PCEVA] [杂碎后院] [HiApk安卓网] [极速社区] [本友会] 几个站点。 现在界面依旧体验不好,正在努力改,再次谢谢大家!

    @yaway
    @momo5269
    @depress
    momo5269
        44
    momo5269  
       2013-11-24 01:41:49 +08:00
    @Shevckcccc 挺好的
    lj0014
        45
    lj0014  
       2013-11-24 17:33:01 +08:00
    对于要淘二手的很实用哈,不过现在搜索功能还比较弱
    gongweixin
        46
    gongweixin  
       2013-11-25 10:29:10 +08:00
    支持楼主,感觉很不错。
    depress
        47
    depress  
       2013-12-04 22:56:39 +08:00
    @Shevckcccc 没有收到你的@ 提示,才看到,我觉得这类网站实用性是最重要的,所以现在的界面我是觉得还可以啦,呵呵。
    ql9075
        48
    ql9075  
       2013-12-20 18:18:38 +08:00
    @Shevckcccc 我也有想法,想一起做做,看可以聊聊不。
    likaci
        49
    likaci  
       2014-03-14 12:51:49 +08:00
    无法访问了?一直关注的……
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5395 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 47ms UTC 05:54 PVG 13:54 LAX 22:54 JFK 01:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86