自动归档配置管理,服务业务场景
通过自动归档调度配置管理,对接结构化数据源、非结构化数据源以及大数据平台等,解决低成本管理海量历史数据问题,统一安全可靠自动从数据源卸载到本平台存储,同时支持统一的服务授权,调用鉴权,权限处理等安全管控,服务实际业务场景。
天阳科技历史数据管理平台是基于大数据技术,通过低成本的分布式集群为海量数据存储提供高效稳定的历史数据平台,服务于数据湖历史数据区,将生产系统、基础数据区和集市数据区生命周期以外的历史数据按照原有数据结构归档,实现海量历史数据的存储;拥有完善的数据链路生命周期管理,基础数据区与集市数据区历史数据的全在线,提供历史数据初始化和查询服务等数据应用,实现对历史数据的统一安全可靠存储。同时,在海量历史数据的基础上,针对司法查询、历史明细、审计、监管等不同业务场景,提供高并发、快速响应的数据服务能力支撑,并基于历史数据的数据挖掘分析等,深挖盘活历史数据蕴藏的巨大潜在价值,赋能业务发展。
通过自动归档调度配置管理,对接结构化数据源、非结构化数据源以及大数据平台等,解决低成本管理海量历史数据问题,统一安全可靠自动从数据源卸载到本平台存储,同时支持统一的服务授权,调用鉴权,权限处理等安全管控,服务实际业务场景。
数据通过配置化实现历史数据归档,与元数据和发布订阅模型,提供自动的二级索引执行计划,实现基于HBase的多条件灵活查询功能,并构建与大数据平台的HBase组件和ES组件上,提供了毫秒级、分布式、横向现行扩展的查询能力与系统升缩,安全稳定快捷。
针对历史数据的各种使用场景,提供场景化数据服务,并支持持续丰富数据服务,赋能数据业务和数据应用。
借助数据湖中数据货架工具,可按需求订阅原始历史数据或经过数据计算区整合的数据,以满足业务场景数据挖掘的用数需求,加速用数进程。基于历史数据的数据挖掘分析等,深挖盘活历史数据蕴藏的巨大潜在价值,赋能业务发展。
天阳科技历史数据管理平台为商业银行提供全场景配套技术工具支撑,所有场景下的服务均由持牌合作银行独立运营决策,我方仅提供技术工具支撑。
数据湖全面上线后,原ODS的历史数据以及各集市的历史数据需要转储到数据湖历史数据区中,提供查询、导入、编辑、查看日志等功能。
通过填写系统简称、数据库、表英文名、归档类型、归档频率筛选查询数据,点击【查询】按钮,精准筛选特定查询语句。归档类型分为:拉链、切片。归档频率分为:每日供数、月末供数、年末供数、工作日供数。生命周期(天)为当前表保存每日数据天数。生命周期(月)为当前表保留月末数据天数。
自动化归档任务配置后,历史数据归档平台根据相应的配置进行作业监控。可查看近3天监控作业的执行情况,且能通过系统简称、数据库、数据日期查询指定数据系统、数据库及跑批日期的执行情况及作业开始结束时间。
“历史归档区”保存了数据对象的历史数据,以“系统名+表名+数据日期”作为唯一识别归档区数据资产的标识。提供“系统名”、“表名”、“明细日期范围”即可获取一段日期范围的明细数据;提供“系统名”、“表名”、“数据日期”即可获取历史某日状态的截面数据。
基于历史归档区存储的结构化数据,提供高并发、低延迟的在线同步查询服务查询请求与结果反馈都以交易报文形式表达;在线同步查询仅支持部分归档结构化数据的查询,且此部分数据需要有访问权限,并需要进行二次数据组织。此外也支持在线异步查询服务。
主要解决企业历史数据管理分散、人工归档效率低、查询占用计算资源、缺乏统一管理工具等问题,实现历史数据的集中统一存储、管理和应用。
平台具备历史数据自动归档配置、归档任务监控、归档数据资产管理,以及历史数据在线查询与数据下发等功能。
平台基于HBase和ES组件,提供自动二级索引执行计划,支持毫秒级、分布式、横向扩展的查询能力,并提供同步和异步两种查询方式,以满足不同业务场景对响应时间和数据量的要求。
平台通过服务授权、调用鉴权、权限处理等安全机制进行管控,并以“系统名+表名+数据日期”作为唯一标识统一管理归档数据资产。
平台支持结构化、非结构化数据源以及大数据平台对接,支持全量归档、增量归档和按指定频率的周期性自动归档。
平台支持按约定的存储周期自动清理过期历史数据,归档区数据不可手动删除,由系统根据预设策略自动处理,确保存储空间的合理利用。
本页面所涉量化效果数据主要来源于天阳科技历史项目实践统计及客户反馈,相关提升幅度通常基于具体项目实施前的业务模式或原系统基线进行比较,仅供说明相关产品或服务在特定条件下的应用表现,不代表其他客户或项目均可取得同等效果,亦不构成对实施周期、业务效果或其他应用效果的承诺或保证。详见本网站《合规声明》。