大佬们进来帮帮忙!如何从 0-1 实现一个 BI 系统 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dtgxx
V2EX    问与答

大佬们进来帮帮忙!如何从 0-1 实现一个 BI 系统

  •  
  •   dtgxx 2023-01-02 21:18:13 +08:00 2512 次点击
    这是一个创建于 1078 天前的主题,其中的信息可能已经有所发展或是发生改变。
    今年团队打算实现一个 BI 大数据分析平台,团队人不多,都 1-2 年经验,主要做 hadoop spark flink 这种的大数据开发工作,由于项目太多,而且项目都比较类似,接入数据源、处理分析、输出应用。
    所以就想做一个通用化的平台,业务场景也不复杂,老板给时间让我们自研,所以不考虑使用现成的 BI 产品。

    但是我们对这个都没啥经验,无从下手,前些天看了网易有数,能实现有个简易版的网易有数这种就百分之百可以满足需求了,对于技术这块,有开源的产品可以借鉴吗?或者我们应该储备哪些知识点?都有哪些环节,如何开展呢?

    因为要讲图形化拖拽转化为代码逻辑,这块我就不知道是如何实现了,希望大佬们多给支支招!
    第 1 条附言    2023-01-03 18:07:35 +08:00
    感谢各位大佬,superset 之前使用过,但是好像不能做网易有数那种一个 flow 的数据计算。
    比如在界面拖拽数据源,再退拽算子,然后拖转 sink 的数据库这种
    11 条回复    2023-10-02 10:53:18 +08:00
    xingdu
        1
    xingdu  
       2023-01-02 21:32:54 +08:00   1
    apache superset
    就是搞这种拖拉拽生成图表的,只是后端是 python 写的,不确定二次开发的成本有多大。
    shinyzhu
        2
    shinyzhu  
       2023-01-02 21:41:30 +08:00   1
    现在做个 BI 也很简单了,不像之前还要做一个 EDW 。

    楼上提到的 superset 是一个很好的选择,配套的你把数据流水线弄好就行,推荐 Airflow ,同样是开源项目的。然后用一套 web 承载整个 BI 就可以了。
    512357301
        3
    512357301  
       2023-01-03 00:40:18 +08:00 via Android   1
    真心建议,采购吧,十万预算也可以好好挑挑了。
    备选方案是用市面上的各种低代码平台搭建,不用很高深,让运营能快速上手就行
    haimianbihdata
        4
    haimianbihdata  
       2023-01-03 08:08:22 +08:00 via Android   1
    推荐帆软
    wenqiang1208
        5
    wenqiang1208  
       2023-01-03 09:17:25 +08:00   1
    之前做过 superset 的二开,需要后端 python 和 前端 React 的相关技能。
    superset 只需要配置好数据源, 就可以从数据源中取数据进行数据聚合展示。
    daysv
        6
    daysv  
       2023-01-03 09:25:15 +08:00   1
    以前做过, 这一块东西很复杂的, 1-2 年经验做出来的东西不得行, 建议外购
    ptaooo
        7
    ptaooo  
       2023-01-03 10:07:37 +08:00   1
    楼上说的 airflow 我大概接触过一点,比较适合做任务的调度,不太建议来做数据相关的,他的任务组件之间没有数据流,只有任务间的执行逻辑关系
    jones2000
        8
    jones2000  
       2023-01-03 17:42:21 +08:00   1
    会用 canvas 就可以, 自己画呗。2-3 年用 canvas 开发的就基本可以了。
    512357301
        9
    512357301  
       2023-01-04 00:11:05 +08:00 via Android   1
    如果准备自研的话,产品经理必须给力,研发其实难度并没有那么大,产品经理没有规划的话,做不出来好东西,最好是有从 BI 平台跳过来的产品经理
    leokun
        10
    leokun  
       2023-09-02 16:48:25 +08:00
    bi 现在很简单,我们公司 3 个人 1 个半月就开发出来了
    bojue
        11
    bojue  
       2023-10-02 10:53:18 +08:00
    @daysv 大佬能交流一下哪块复杂,我们也有计划自研
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3648 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 10:27 PVG 18:27 LAX 02:27 JFK 05:27
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86