首先感谢各位大佬能点进来。 说下个人基本情况。坐标帝都，糙汉子一枚，双非计算机科班，17 年毕业就开始做 Java 后端，后来到现东家核心部门，做 Java 后端的同时，领导给机会做大数据相关的东西。接触了一年多大数据开发，老本行也都在搞，现希望去更大的平台发展。现将简历整理了一版，期待各位路过大佬留下宝贵意见 最大困惑点在于：大数据项目经历之前没有写过，简历上有点不知道应该突出那些侧重点。当然所有点都欢迎大家拍砖
职位：Java 工程师（大数据方向） 3 年工作经验
专业技能
- 较为扎实的 Java 基础，熟悉多线程及 JVM，熟练使用 Spring，MyBatis 等框架
- 熟悉 Hadoop，HDFS，YARN，HBase 等大数据相关技术
- 拥有 Spark 的 ETL 开发经验，掌握 scala
- 熟悉 Mysql，redis
- 了解 kafka，dubbo，zookeeper 等
工作经历
TalkingData 数据治理部门-数据挖掘与工程组 Java 大数据开发 2018.09-至今
工作内容：负责对公司 Hadoop 集群数据的离线批处理计算、存储；以及数据对外的输出；参与日常 ETL 需求和任务维护，以及 spark 任务性能调优；使用 SpringBoot+Mybatis 为框架，独立负责数十个对外数据 HTTP 接口数据查询服务。
负责的主要项目：
id 主题业务 ETL
简介：将 HDFS 上收集的 id 信息(imei,mac,idfa 等)，通过 spark 每日离线加工聚合，每日增量数据累积形成全量 id 信息数据集和 id 唯一映射数据集，为设备标签和数据服务提供基础 id 数据支持
工作：
- 抽取各业务 HDFS 数据融合，每日处理数据集的数据大小 60T 以上
- 使用 Spark 开发离线批处理 ETL 任务，提交至 Yarn 执行并进行维护和性能调优
- 持续优化数据集加工流程，节省了大量资源
中间件查询服务项目
简介：Java 技术栈，SpringBoot 为基础框架的后端 Server 。主要提供 HBase，Scylladb 和 Mysql 三种数据库的查询能力和 DB 之间的主从升降级能力，使上游依赖的数十个服务将重心放在业务逻辑，能显著提高服务开发效率和容错能力。
工作：
- 主责设计和重构了中间件查询服务的整体逻辑
- 使用 Java 的 Future 模式设计开发了一套 DB 主从升降级切换的逻辑
- 自设计了一套适合业务逻辑的查询超时出错熔断方案，并采用纯算法轻量级实现
- 将业务服务到中间件服务的 HTTP 结构使用 Dubbo 进行了改造升级，省去了一次 nginx 转发的步骤
HBase 数据装载
简介：将 HDFS 中，需要通过 HTTP 接口服务查询的数据，使用 spark 加工成对应的 HFile，并 load 到 HBase 中。通过 buckload 特性快速导入海量数据，基本省略了 HBase 的写库压力。当前维护了存储为 55T 左右的 HBase 集群。
工作：
- 设计合理的 rowkey，尽量让数据均衡分布在每个 RegionServer
- 针对数据量进行估算，设计合理的 region 大小，降低 HBase 集群的浪费
- 根据数据情况合理分配 split key，使数据均匀分布在 region，避免数据热点
思源集团 基础研发后端团队 Java 开发 2017.04-2018.08
工作内容：负责 Spring+Mybatis 为基础框架的 Java 后端服务项目。为移动互联网产品做后端支持。独立负责群聊，短信和邮件等多个项目的日常需求 Coding 和项目维护及产品迭代。
负责的主要项目：
群聊项目后端服务
- 群聊项目后端服务
项目简介：一个 Java 技术栈的后端 Server 。为手机 APP 提供 HTTP 接口能力，在服务端维护群聊基本信息，成员关系以及群聊相关设置。项目采用 maven 管理代码，Spring boot+mybatis 做开发框架，mycat 做数据库分库中间件，集成 redis 做部分数据缓存，集成 rabbitmq+kafka 处理异步业务。
工作：
- 负责每一期产品迭代中，群聊后端需求的开发和维护，以及必要的技术改造和性能优化。
- 从代码层面上对耗时接口的性能做了优化（减少非必要日志，逻辑上弥补查库次数，非及时业务改由消息队列异步处理等）。最终保证基本所有接口响应时间 100ms 以内
Select Language