一线大数据码农该何去何从？

大数据不是热门吗

大数据开发 这种 种类有点多，楼主具体啥方向

hadoop 研发调优方向？

难道是所谓的“调参员”？

国企的遗孀。。。

大数据架构很吃香的好吧 为啥要转行

一直扣丁 也想转行 楼主写转行攻略啊..

@p2pCoder 基於 spark 程序

@HGladIator 架要求比高，小公司不高去，大公司不要我

小公司业务量都达不到，我用 MySQL 都能搞定，还用个屁的 HBase,Hive。

大数据就是一阵风。。。小数据都没玩好，哪来的大数据需求。

来二线啊~

厦门有兴趣吗？做交通行业方面。

@xuanbg 如果是风的话，淘宝双十一怎么做到的

架构懂点但是不彻底 这句话。。。

我干大数据主要做采集，清洗，存储，把数据合理细分，分而治之，尽量控制原始数据复制份数，然后就是 sql 一顿干，然而还真没多少技术含金量，各种框架工具的操作工

@fireapp 我干的活，跟你差不多，还有实时的，批量的，平台的维护，跟全栈工程师差不多了

@simonqian 当然自己管啊，包括机器，然后直接 ambari 一套，自主可控随便玩，挨个尝试一遍
采集 flume，fluentd，logstash，filebeat
存储 hdfs，hive，kudu，小强 db，kafka
查询计算 spark，flink，drill

@fireapp 同路人呀！你在哪个公司

@simonqian 游戏公司

@fireapp 重点还是如何分而治之,这个得靠经验吧. 这难道不是个人的积累吗

@fireapp
fluentd, logstash, filebeat 都有,
后没没有接 ElasticSearch?

@dcoder es 内存大户没考虑他，上面都是尝试，最后都切到一套，节省资源
filebeat - kafka 然后 kafka stream 细分成多个 topic
以后的不管实时还是离线，直接拉取 Kafka 数据，处理中间结果丢到 kudu，直接提供在线查询
定期把 Kafka，kudu 中老数据卸载压缩，丢到 hdfs

@fireapp Kudu 用的怎么样，和 redis 相比效果咋样？

@simonqian 分布式列式关系数据库啊，各种 sql 我查询啊，olap 用的，提供秒级别查询就行
redis 是做缓存的不一样东西

@fireapp 看来 filebeat -> kafka 是王道, 之后怎么折腾都行.
ES maintain 起来确实麻烦了点
logstash 说实话质量很粗糙, 你们用来 parse log? 有啥代替品没?

@fireapp Redis 不只能做缓存，能干很多其他的事情

@fireapp kudu 是不是跟 apche ignite 提供的功能差不多

ignite 功能太强大了，能对外提供分布式的关系数据库功能，redis，memcache，kv 数据库，计算平台，微服务平台，还有 ml，野心大了去了
而 kudu 就是一个列式存储，支持二级索引，update，不支持事务，olap 用不上事务

@fireapp ignite 产品不成熟，有好多问题，国内没几个用这个的

@fireapp 你好，我目前拿到了网易互娱的数据研发 offer，请问下游戏公司做大数据前景如何？

@Archerxx 游戏公司做大数据大部分情况是个坑啊，属于比较偏的支撑部门，可有可无，一堆乱七八糟需求，然鹅没几个人用，除了客服方面查明细多点外

@fireapp 这么坑吗。。。 我感觉网易的游戏数据量应该还是挺大的....纠结。兄弟，你觉得网易、海康、华为该怎么选，都是大数据研发，网易互娱起薪比较高，但是涨薪可能不太乐观

@Archerxx 实时的做一些封号业务，打击下垃圾聊天，广告，外挂之类的，现在好多语音聊天又是个坑

@Archerxx 当然是去互联网的啊，干啥都会有坑，至少互联网的工作氛围好点，管理相对于扁平点，专心填坑挖坑就行，别的其他乱七八糟东西少点

@fireapp 好的，明白，多谢啦

@Archerxx 你也是在杭州？