帆软FineDataLink

帆软FineDataLink的核心定位是“全链路数据集成与服务”，其核心能力概括为：从任意数据源到任意目标的端到端数据流转，通过多技术融合解决企业多源异构、流批一体、国产化适配等复杂场景需求。

一、核心功能模块

1. 多源异构数据采集与集成

• 支持的数据源类型：

• 7大类数据源：关系型数据库（Oracle/MySQL等）、大数据平台（Hive/HDFS）、国产数据库（达梦/人大金仓）、NoSQL（MongoDB/Redis）、API/WebService、文件（Excel/CSV/JSON）、消息队列（Kafka/RabbitMQ）。

• 技术亮点：

• 智能适配器：自动识别不同数据源的结构和协议，减少手动配置。

• 异构数据映射：支持字段类型自动转换（如MySQL的datetime转Oracle的timestamp）。

2. 流批一体实时数据同步

• 实时增量同步：

• 基于数据库日志解析（如MySQL的binlog、Oracle的OGG），实现毫秒级延迟的数据捕获（CDC）。

• 支持断点续传，确保网络异常后数据不丢失。

• 批处理同步：

• 提供全量/增量策略，支持时间戳、水位线、自定义SQL等多种增量条件。

• 优势对比传统工具：

• 低资源消耗：日志解析无需轮询数据库，降低源系统压力。

• 一站式解决：同一平台同时处理实时和离线任务，无需切换工具。

3. 离线数据开发与调度

• ETL/ELT灵活选择：

• ETL模式：在数据抽取后通过FineDataLink引擎进行清洗转换（适合轻量加工）。

• ELT模式：将数据先加载到目标库后利用库内计算能力（适合大数据量场景）。

• 任务调度能力：

• 可视化DAG编排，支持跨任务依赖（如任务B依赖任务A的输出）。

• 参数化调度（如按日期动态分区执行）。

4. 数据服务API化

• 快速API发布：

• 将SQL查询、存储过程、ETL结果直接发布为RESTful API，支持JSON/XML格式。

• 内置API网关功能：限流、鉴权（OAuth2/JWT）、请求日志。

• 业务价值：

• 避免重复开发接口，例如将订单数据API直接提供给CRM系统调用。

5. 国产信创生态兼容

• 全栈适配：

• 支持国产CPU（鲲鹏/飞腾）、操作系统（麒麟/UOS）、数据库（达梦/高斯）等。

• 通过工信部信创认证，满足政府、国企合规要求。

6. 统一运维监控

• 全链路监控看板：

• 实时显示任务执行状态、数据流量、资源占用（CPU/内存）。

• 告警机制：任务失败、数据质量异常时触发企业微信/钉钉通知。

• 数据血缘与影响分析：

• 自动生成字段级血缘图谱，可追溯数据异常影响的上下游系统。