恭喜 Devlive DataCap 新晋一位 Committer

2023年 11月 30日 38.2k 0

非常感谢所有对 DataCap 项目的支持和贡献,我们迎来了新的一位来自互联网行业的大数据资深运维工程师,感谢他对 DataCap 的支持以及代码的贡献。

关于 DataCap

DataCap 是数据转换、集成和可视化的集成软件。支持多种数据源,文件类型,大数据相关数据库,关系型数据库,NoSQL 数据库等。通过软件可以实现管理多种数据源,对该源下的数据进行各种操作转换,制作数据图表,监控数据源等各种功能。

DataCap 喜迎一位 Committer 成员

名字 职业 GitHub ID
陈文明 大数据资深运维工程师 chenwenming-zj

个人描述

有多年大数据组件维护经验,对 Hadoop 集群有丰富的经验,同时对 Apache Kafka 以及各个大数据组件有一定的经验。

  1. 优化过亿 Blocks 的 NameNode,优化解决集群小文件问题,减少 NameNode RPC 压力
  2. 迁移并运维过 PB 级别的 Hadoop 集群
  3. 维护管理万级别 Topic 的 Kafka 集群,自动化脚本实现分区均衡迁移,Reassignment 限速等

对 DataCap 的认识

在做公司 Clickhouse 迁移时,从 GitHub 中搜索,发现 datacap 项目,结合公司内部业务,经过一段时间运行后发现缺失,服务功能缺失 JVM 动态加载功能,因为我对 Shell 比较熟悉且做过 JVM 优化工作,特意在源码中支持了服务启动读取 JVM 配置功能。

代码提交之路

  1. 在 datacap 上提交了相关代码 (commit 57473faf4f45616a96962b7f84b9b5b81ecfbc42(HEAD->dev_get_jvm, origin/dev_get_jvm)

得到的收获

  1. 作为大数据运维,很少参与工程项目,非常荣幸能在 datacap 上贡献自己微薄的代码
  2. 这次参与也体会到团队协助的力量,希望 datacap 做的越来越好

对新人的建议

  1. 上线前整理 checklist
  2. 一定要写好注释,方便以后维护,要写好注释,可以写某个方法是做什么的,主要步骤是什么
  3. 测试!一定要多测试,先上测试环境,再上线
  4. 新参与项目时,可以多参考官方文档

如何参与 DataCap

  • 参考官网 开发者文档
  • 通过 Issues 列表参与 GitHub &  Gitee
  • 加入我们的微信群&钉钉群(在代码仓库中可以看到二维码)
  • 微信公众号后台留言(搜索微信公公众号 devlive-sf 关注,标记 DataCap 项目给我们留言即可)

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论