产品简介
产品详情
总体架构
核心功能
- 详情介绍
- 批量数据采集
- 实时数据采集
- 数据加工厂
- 任务调度
- 数据资产管理
-
- 商品名称: 数据集成处理系统
- 商品编号: a02
- 列表页描述:
数据集成处理系统可对数据资源进行信息采集、维护、查询、分析、运行监控等管理。具体功能主要有数据源管理、数据采集配置、实时数据采集、数据转换配置、数据导出配置、数据资源编目、数据仓库管理、任务调度、数据接口管理和系统监控。
总体架构
-
批量数据采集是数据集成处理系统获取数据的主要通道。通过配置将各自分离的业务平台数据采集到大数据资源平台如Hbase、Hdfs、Hive及Mysql等数据储存系统，为后续的资源分析、数据挖掘提供数据基础。数据采集配置有数据库采集、接口数据采集、文件数据采集和本地文件上传等功能。配置包括新增、查看、修改、删除、测试、数据内容查看、添加任务调度及查看日志等一系列操作。
-
实时数据采集是针对流式数据采集的功能。配置包括新增、查看、修改、删除、发布任务及数据采样等一系列操作。流式数据包括Socket接口、日志数据流、视频数据流等各类流数据。该功能针对不同类型的流数据采集到相应业务平台上来，为后续的资源分析、数据挖掘提供数据基础。
-
数据加工厂主要是对数据进行清洗、整理、转化等脚本转换操作提取价值数据和业务数据，为上层业务提供数据基础。数据转换配置包括任务添加、查看、修改、删除、添加调度任务等基本操作，并结合任务队列实现各个数据转换之间的复杂逻辑关系。
-
任务调度功能为数据采集、数据转换、数据导出等功能提供定时的任务的调度，为大数据资源平台提供自动化的数据处理机制。其功能包括任务手动执行、任务配置、任务启动、任务暂定及任务删除。任务调度整合Quartz和分布式调度框架，定时任务精确到秒级别。同时提供动态部署、任务调度轮询机制、任务错误反馈机制为任务精准地执行提供保障，也方便运维人员定位和排查问题。
-
数据资产管理是保障数据接口开放及安全管控的功能。该功能包含接口注册、白名单、黑名单、访问申请审核和访问申请日志。数据提供方通过注册接口，将自己的数据以webService接口方式对外开放。用户想要访问接口数据必须先申请访问，待申请通过后系统添加用户到白名单，用户即可访问接口数据。
暂无数据
官网二维码
