全链路数据互通
打通行内分散的业务系统(核心、信贷、柜面等),实现跨系统定时/实时数据无缝流转,消除“数据烟囱”,为数据中台、报表分析、实时风控、客户画像等上层应用提供统一、可靠的数据通道。
天阳科技数据采集交换平台是一个承载企业内所有应用系统实时和批量数据交换任务,为企业日渐庞大及复杂的数据交换提供最优解决方案的技术产品,具有统一交换、统一调度、统一监控的产品特点。采用分布式、服务化部署结构,支持主流的数据库包括大量的信创分布式数据库;每个环节都有互备机制,保障系统的稳定性和高可用性。根据各模块功能特点,采用统一的服务化组件和配置化开发支持,通过配置实现实时/批量交换资源的开发上线以及任务运行时的调度,也能通过调度监控接口和数据交换组件供企业应用系统使用,且调度引擎和传输工具均可适应信创等多种部署环境。
打通行内分散的业务系统(核心、信贷、柜面等),实现跨系统定时/实时数据无缝流转,消除“数据烟囱”,为数据中台、报表分析、实时风控、客户画像等上层应用提供统一、可靠的数据通道。
入湖能力:将多源数据统一归集到数据湖贴源层,支撑批量分析、AI建模等数据密集型场景;
出湖能力:为下游系统提供ES、HBase、DWS等多介质的数据服务,满足实时查询、批量供数等不同诉求;
实时采集能力:数据库变更毫秒级捕获,支撑实时风控、实时营销等业务创新。
标准化配置,降低开发门槛通过可视化界面完成数据源管理、作业配置、调度策略设置,业务人员/初级开发人员也可快速上手,开发效率提升60%以上。
异构数据源全适配,原生支持20+主流数据源(关系型数据库、大数据组件、文件系统、对象存储等),覆盖行内几乎所有数据载体,无需重复开发适配逻辑。
天阳科技数据采集交换平台在实践案例中的传输效率表现优异,具体体现在:
1、数据湖实时采集场景最快可以到达50M/S的采集效率
2、系统间的数据交换效率最快可以到达百兆每秒;
3、数据湖数据服务数据供给场景最快可以到达40M/S的效率;
天阳科技数据采集交换平台为商业银行提供全场景配套技术工具支撑,已形成多类成熟的标准化技术解决方案;所有场景下的账务核心、信贷核心、信用卡核心服务均由持牌合作银行独立运营决策,我方仅提供技术工具支撑。
由目标系统提出数据交换需求,由数据交换总线提供数据交换支撑能力;数据交换总线提供批量交换和实时交换两种服务模式。
处理流程:
1、批量数据卸出组件将源系统数据批量卸出到对象存储上。
2、批量转载读取对象存储上数据批量装载到目标数据库中。
3、实时采集组件将源系统数据写入消息队列Kafka。
4、实时装载消费Kafka队列数据写入目标数据库表中。
5、实时订阅消费Kafka队列数据,向目标系统提供实时订阅服务。
由数据湖应用提出数据入湖需求,由数据入湖模块提供入湖支撑能力;数据入湖按照数据应入尽入的原则入湖,数据入湖需要负责入湖数据装载工作。
入湖处理流程:
1、批量数据卸出组件将源系统数据表批量卸出到OSS上。
2、批量入湖接收到调度指令后,读取对象存储文件,写入数据湖贴源层表并进行入湖数据检查。
3、实时采集组件将源系统数据写入消息队列Kafka。
4、实时入湖消费Kafka队列数据写入数据湖贴源层表。
由目标系统向数据服务中心提出用数需求,数据服务中心和数据交换中心共同为目标系统提供数据出湖支撑能力;数据出湖可提供四种服务模式:微批同步、批量同步、实时加载、实时订阅。
支持关系型数据库(MySQL、Oracle、OceanBase、SQLServer、PostgreSQL、DRDS、Kingbase、通用RDBMS等)、阿里云数仓存储(ODPS、ADB、ADS、OSS、OCS、Hologres等)、阿里云中间件(DataHub、SLS)、图数据库(GDB、Neo4j)、NoSQL(OTS、HBase、Phoenix、MongoDB、Cassandra)、数仓(StarRocks、Doris、ClickHouse、Databend、Hive、Kudu、SelectDB)、非结构化存储(TxtFile、FTP、HDFS、Elasticsearch)、时间序列数据库(OpenTSDB、TSDB、TDengine)等。
支持。天阳科技在多家试点银行不同基础环境上部署数据采集交换平台,实现从操作系统、中间件、数据库等的信创适配。
通过标准化配置和可视化界面完成数据源管理、作业配置、调度策略设置,业务人员/初级开发人员可快速上手,开发效率提升60%以上。
采用分布式、服务化部署结构,每个环节都有互备机制,保证系统稳定性和高可用性;调度引擎和传输工具均可适应信创等多种部署环境。
本页面所涉量化效果数据主要来源于天阳科技历史项目实践统计及客户反馈,相关提升幅度通常基于具体项目实施前的业务模式或原系统基线进行比较,仅供说明相关产品或服务在特定条件下的应用表现,不代表其他客户或项目均可取得同等效果,亦不构成对实施周期、业务效果或其他应用效果的承诺或保证。详见本网站《合规声明》。