核心能力矩阵 · 一站式数据中台解决方案
从数据采集到智能应用，构建企业级数据全链路管理体系
数据集成
多源异构数据统一采集、清洗、转换与加载
任务调度
Cron定时、时间序列、依赖编排、失败重试
数据源管理
统一连接池、加密存储、在线测试、健康检查
监控告警
实时监控、日志追踪、自动告警、血缘分析
立即开始使用 ZDH
git clone https://github.com/zhaoyachao/zdh_web.git && cd zdh_web && sh build.sh && sh bin/start.sh
四大核心业务平台
企业数字化转型的完整解决方案
数字化经营平台
Digital Marketing Platform
构建360°客户画像，实现精准营销与智能风控，助力企业数字化转型
微信运营平台
WeChat Operation Platform
一站式微信公众号管理工具，支持多账号管理、粉丝互动、内容营销与数据分析
消息推送平台
Message Push Platform
统一的消息推送中心，支持短信、邮件、微信、App Push等多通道触达用户
问卷调研平台
Survey & Research Platform
可视化拖拽式问卷设计器，支持多题型、智能统计与数据分析报告生成
平台核心优势
为什么选择ZDH？
开箱即用
零代码配置，拖拽式操作，快速上手，降低使用门槛，提升工作效率
多源支持
支持Hive、HDFS、JDBC、HBase、MongoDB、ES、Kafka等主流数据源
灵活调度
内置调度器，支持Cron定时、时间序列、手动触发，可对接Airflow/Azkaban
二次开发
开源架构，Spring Boot + MyBatis，完善的API接口，易于扩展定制
主要功能模块
覆盖数据全生命周期管理
ETL数据集成
- DataX同步：基于DataX的高性能离线数据同步，支持批量导入导出
- JDBC传输：通用JDBC数据源对接，支持MySQL/Oracle/PostgreSQL等
- Flink流处理：实时流数据处理，支持窗口聚合、CEP复杂事件处理
- SQL执行：在线SQL编辑器，支持多数据源查询与结果预览
- 批量任务：批量ETL作业管理，支持依赖编排和并行执行
任务调度中心
- Cron调度：标准Cron表达式，灵活配置定时策略（每分钟/每天/每周/每月）
- 时间序列：按时间维度自动生成实例，适合周期性批处理场景
- 依赖管理：DAG有向无环图，任务间依赖自动解析和拓扑排序
- 失败重试：智能重试机制，支持指数退避和最大次数限制
- 外部集成：提供标准接口，可与Airflow、Azkaban等调度器对接
数据源管理
支持的数据源类型：
监控告警
- 实时监控：任务运行状态、资源占用、数据量统计实时展示
- 日志追踪：完整执行日志，支持关键字搜索和日志下载
- 告警通知：失败/超时/异常自动告警，支持邮件、企业微信通知
- 集群监控：多节点健康检查，负载均衡，故障自动转移
- 血缘分析：数据血缘关系图谱，影响范围分析
问卷调查系统 NEW
- 可视化设计器：拖拽式问卷设计，所见即所得，零代码创建专业问卷
- 丰富题型：支持单选、多选、文本、评分、日期、矩阵、下拉等10+种题型
- 数据收集：浏览器唯一标识识别用户，防止重复提交，7天过期机制
- 统计分析：ECharts图表可视化，饼图/柱状图/表格多维度展示
- 报告导出：一键生成统计报告，支持PDF/Excel格式导出
微信运营推送
- 公众号管理：多账号接入，素材库、菜单、模板消息统一管理
- 用户标签：用户分组打标，精准人群圈选，支持自定义规则
- 群发消息：图文/文本/图片消息群发，定时发送，效果追踪
- 二维码营销：参数二维码生成，渠道来源追踪，粉丝增长分析
- 互动功能：评论管理、关注回复、关键词自动应答
数字化营销平台
- 客户画像：360度客户视图，行为轨迹分析，RFM模型分层
- 策略引擎：可视化策略编排，条件分支、A/B测试、灰度发布
- 人群圈选：多维度筛选，标签组合，动态更新客群
- 触达通道：短信、邮件、微信、App Push多渠道统一调度
- 风控体系：实时风险检测，黑名单过滤，频次控制
权限与安全
- RBAC权限：基于角色的访问控制，细粒度到按钮级别
- 数据隔离：租户级数据隔离，产品线维度权限管控
- 操作审计：完整的操作日志记录，支持回溯和合规审计
- Shiro认证：成熟的认证框架，支持Session/Token/JWT多种模式
- Sentinel流控：接口限流熔断，防止恶意调用和雪崩效应
技术架构
现代化技术栈，稳定可靠
| 框架基础 | Spring Boot + Spring MVC + MyBatis |
| 任务调度 | Quartz + 自研调度引擎 |
| 数据同步 | DataX + Flink CDC |
| 安全框架 | Apache Shiro + JWT Token |
| 流控降级 | Alibaba Sentinel |
| 数据库 | MySQL + Redis (缓存/会话) |
| UI框架 | Bootstrap 3 + jQuery + Font Awesome |
| 表格组件 | Bootstrap Table (服务端分页) |
| 图表库 | ECharts 5 (数据可视化) |
| 表单验证 | jQuery Validate + Layer弹窗 |
| 模板引擎 | Thymeleaf + AJAX动态渲染 |
| 拖拽组件 | SortableJS (问卷设计器) |
架构特点
- 微服务就绪：模块化解耦，可拆分为独立微服务部署
- 水平扩展：无状态设计，支持多节点集群部署
- 高可用性：主从切换、故障自愈、数据冗余备份
- 容器化支持：Docker镜像构建，Kubernetes编排文件
版本演进
持续迭代优化
v2.x - 企业增强版 当前版本
- 新增问卷调查系统（可视化设计、统计分析）
- 新增数字化营销平台（客户画像、策略引擎）
- 新增微信运营工具（多账号管理、群发推送）
- 增强Flink流处理能力
- 优化UI交互体验
v1.0.0 - 基础版 2020.04.01
- 支持SQL标准函数
- 支持界面选择配置
- 支持快速复制已有任务
- 支持外部调度工具（需修改特定接口）
- 弹性扩展（可单机、可集群）
- 支持客户级权限
- 简单易用，支持二次开发
- 自带简单调度工具，支持定时任务、时间序列任务、设定次数
- 支持SHELL命令检查文件
项目信息
开源社区
ZDH (Zhao Data Hub)
智能数据集成中间件
GitHub地址
本预览版本为dev分支，开发者可拉取dev分支做具体分析文档说明
详细的使用文档请参考项目Wiki或smart_doc目录下的各模块文档
技术支持
如有问题，欢迎提交Issue或Pull Request参与贡献
如果觉得对您有帮助，欢迎Star支持！
Star This Project