一款基于 Web 的通用数据管理工具 CloudQuery(转载) - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
111222333
V2EX    推广

一款基于 Web 的通用数据管理工具 CloudQuery(转载)

  •  
  •   111222333 2021-02-01 16:38:54 +08:00 1390 次点击
    这是一个创建于 1736 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    前段时间,公司因为业务发展,数据量攀升,老板迫切需要一个工具对数据进行精细化管理,一是确实需要精细化管理;二是因为我们公司小,数据本来就乱,加上前两天链家员工删库跑路事件,老板估计有点慌,万一谁心情不好来个 rm-rf /*,公司就凉了,于是,这任务就喜忧参半的落到了我的头上,而且老板临走还告诉我预算有限,看着办。

    先是在几个大厂的云市场上找,毕竟大品牌,看了华为 DAS,阿里云的 DMS 等等,产品都还不错,但有些功能要么不支持,要么太贵,这就很尴尬。

    之后在 GitHub 和开源中国上找,发现了不少好东西,例如 cloudbeaver 就不错,但玩了一下午发现没权限和审计:cry: 。还有一些不错的堡垒机和开源工具,不过也不是我们想要的。

    最后在墨天轮瞎逛时点开了 CloudQuery 的直播,从此发现了新大陆。运气好,还在直播活动中抽到了一个保温杯!

    所以,我现在就拿着 CloudQuery 赠送的保温杯泡着枸杞,写下了这篇文章。

    介绍

    CloudQuery 是一款基于 Web 的数据管理工具,可部署到各大云端。轻量化,无需下载本地软件,安装在服务器上所有人就都可以用浏览器登录使用,实现数据统一管理。尤其令我惊奇的是,CloudQuery 9 月份上线,现在不过 4 个月多点,能做成这样真是厉害!

    内容

    安装
    • 安装时出了点小意外,没看安装手册,用 4 核 8G 的服务器安装了完整版,导致下载完成启动失败,后面问小助手才发现是因为机器配置不足,所以给大家提个醒,完整版对服务器要求高,一定要看一眼手册再下载,避免浪费时间。

    • 后来换了高配服务器,就可以正常启动了。下载的过程很简单而且不需自己动手,它会先下载环境再下载应用,每步有进度和提示,体验不错。
    添加连接
    • CloudQuery 支持的数据库种类很全,像平时我们用到的 MySQL 、Oracle 、PG 、Redis 、SQLServer 、MongoDB 都支持,还支持国产数据库达梦,这就很 nice !每种数据库都支持两三种主流版本,完全可满足公司的数据库需求。

    数据操作
    • 数据操作方面,整体感觉不错,像添加表和视图、转储 SQL 文件、编辑查看单元格、语句智能提示、打开终端、结果集多格式导出等大类功能都支持,执行计划、事务手动 /自动提交、执行中断、语句收藏等常用的小类功能也有。

    • 不过也有优化的地方,例如查看表结构的中文备注,结构迁移、数据迁移,字段类型也稍微少了些。不过按照他们两周一次的迭代速度,后面应该会支持,期待 CloudQuery 在数据操作方面早日成为 Web 版的 navicat,那就牛了。
    组织架构

    组织架构功能如果说满分 100 分的话,我只能打 82 分,剩下的分数用 666 来给。组织架构这个功能,拿来就能直接用到公司环境中,添加部门、添加组、添加用户包括管理等都特别方便。

    系统权限
    • CloudQuery 对用户分配系统权限时,需要先创建一个角色,然后再进行授权。

    • 系统权限有:系统设置、添加连接、审计分析。例如只给用户分配添加连接的权限,系统设置和审计分析功能等相关的所有功能都将无法使用,起到对用户进行分级管理的作用。

    数据操作权限
    • 数据操作权限是公司最为看重的功能,我们迫切需要一个管理手段,正巧它就来了。
    • CloudQuery 的数据操作权限功能做的很详细也比较全。例如,当 DBA 设置一个角色,让这个角色只拥有查看和增加 MySQL 连接中的 A 库 B 表和 B 视图的权限,把这个权限赋予小明,小明就只能做权限内的事情。

    • 如果还要给某用户增加更多权限,或统一给相似用户授权时,还可以设置有一个权限集,在实际工作中这样授权效率很高。

    • 不过权限方面也还有优化空间,例如可以增加结果集导出的权限,打开终端权限,增加更多权限类型等......哈哈,一不小心就提了需求。
    应用分析
    • 在应用分析中可查看今日常用表的读写次数,SQL 的执行排行情况,SQL 的执行耗时排行情况,根据这些信息,同事们就可以更具体排查和调优,点赞!希望以后还会增加更多类似功能,例如 高危 SQL 的排行等。

    审计分析
    • CloudQuery 的审计分析会对所有在系统内执行的 SQL 语句进行审计分析,保证数据皆有据可查。
    • 审计分析中可看到执行总数、错误语句数、各语句的执行占比情况、活跃用户数、今日用户排行情况等,比较详细,能够满足我们日常工作。

    • CloudQuery 支持审计明细,可以根据多种过滤条件进行查询,支持导出明细信息到本地。

    个人文件夹
    • 个人文件夹可从本地导入文件,也可以在终端打开,这个小功能挺不错!~

    执行历史
    • 打开执行历史时可以看到自己一段时间内的执行记录及常用的连接,懒人福利。

    总结

    CloudQuery 是一款相当不错的管理工具,集成了很多 DBA 和开发者的常用功能,重点支持了权限管控和审计分析,非常适合国内中小企业和团队,希望保持初心,越做越好!

    对了,重要的一点忘了提:CloudQuery 完全免费!这里手动 @官网:www.cloudquery.club

    我觉得可以向他们收广告费了,哈哈哈哈

    完。

    目前尚无回复
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1052 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 23:03 PVG 07:03 LAX 15:03 JFK 18:03
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86