首页 > 产品 > 电信

PRODUCT

DCA-分布式缓存

DCA(分布式缓存)产品,为数字化转型助力


一、背景:

随着企业数字化转型的深入,迫切需要更大、更快、更准的分布式计算系统;在时延上提出了迫切的要求,那么基于内存的缓存技术,是分布式架构中不可缺少的一环,但随着计算数据量的剧增,需要更强大的分布式缓存技术,通过软硬件结合,实现更快,更大的数据缓存能力,为分布式计算框架提供更稳定、快速的数据访问能力,DCA就是一套完整的缓存技术的解决方案。


、产品概述

DCA(分布式缓存)是一个基于分布式缓存实现数据高速管理的解决方案;在接入层,实现应用接入连接的负载均衡,过载保护,连接的安全管理等统一的纳管控;在数据层,实现对数据的全量、增量刷新,数据分片,数据域管理,数据生命周期,数据动态扩容融等统一管理;在日常运维实现日常的常用运维和实时、定时的数据稽核等能力;

DCA可实现与物理库的数据的实时同步能力和稽核能力;

DCA可作为持久数据库(NOSQL)、临时数据缓存使用,可根据key进行生命周期管理;

产品架构

产品分为展现层,应用服务层,数据存储层。其中应用服务层主要负责数据访问请求和路由转发功能,保证数据请求高并发。

产品架构

1、通过标准的接口协议,业务应用可无改造接入,方便应用系统的升级

2、产品管理完全独立于业务系统,实现业务与数据的分离,同时可通过展现层,纳入到原有的系统中,统一管控

3、通过租户管理能力,实现不同的业务应用在物理上隔离管控,减少系统间相互干扰

4、通过数据管理的数据扩容能力,实现在不停业务的前台下,实现底层数据的扩容

5、数据域可根据不同的租户进行前台配置部署,在整个部署过程中,可根据业务的需求参数进行配置,无须手工安装存储引擎

6、通过数据管理模块实现数据的双向同步,全量/增量同步

7、数据分片能力,通过数据管理模块,按照数据的特点进行一致性Hash算法,对数据进行分片,与业务系统完全隔离,不需要指定;

底层技术:


数据存储:

1、为了适应不同的数据存储要求,数据存储支持原生态的redisPmem-Redis两种数据存储模式;Pmem-Redis是基于 PMem 的多种 redis 解决方案,核心是可在先有的机器资源下扩充主机的内存资源,实现在不降低性能的前提下,实现数据的存储:

2、英特尔® 傲腾™ 持久内存 (PMem)方案:

英特尔® 傲腾持久内存 (PMem) 采用创新内存技术,将高性价比的大容量内存与对数据持久性的支持巧妙地结合在一起。第三代英特尔® 至强® 可扩展处理器和英特尔® 傲腾持久内存 200 系列双剑合璧,通过创建两层内存和存储分层架构,优化工作负载的性能与成本。在支持这些处理器的双路和四路平台上,持久内存正帮助企业将更多数据转化成可行洞察。使新平台架构能够做到以下几点:

将更多数据保存在更靠近 CPU 的地方,帮助加速大内存计算

将数据长久保存在内存中,而无需从存储设备中重新加载, 因此可加快重启时间并减少 I/O

降低大内存节点的功耗


、产品特性:

n 部署能力

满足云原生要求,并实现容器调度下网络0时延通信(主流容器网络调度在28毫秒的损耗)

n 高性能

集群支持千万级并发,高吞吐下保证低时延,平均访问延迟在微妙级。

n 高可用

四层负载均衡控制,主机间负载均衡,进程间负载均衡,数据间负载均衡, 流量间负载均衡。

完善的容灾机制,支持主机容灾,节点容灾,故障自动恢复。

节点限流,节点异常降级。

n 水平扩展

支持服务节点在线扩缩容,提高集群吞吐量。

支持数据节点在线扩缩容,通过Redis分布式锁机制,实现自动数据迁移,达到业务无感知。同时,如果由于不可预知因素导致数据迁移异常,则会自动回滚。

n 数据存储

支持T级别数据的存储能力,大大缓解内存资源与CPU资源的矛盾,可充分利用CPU的资源

n 持久化

具备缓存数据同步持久化能力,在故障情况下,可快速从磁盘加载数据

n 对外接口

支持标准Redis协议接口和Restful接口,实现业务系统高效对接

n 智能运维

提供可视化运维页面,支持一键部署启停,集群故障检测。

多维度指标监控,包括tps,时延,节点连接数,异常错误码等。

丰富的刷新稽核工具,涵盖全量刷新,增量刷新, 实时增量稽核,定期全量稽核,冗余数据清理。


、平台

硬件

使用Intel第三代至强处理器及英特尔® 傲腾™ 持久内存(PMem)解决方案,与传统的Dram物理内存相比性能略有损耗,但是提供了数据持久化功能,更大的内存容量,价格实惠。

软件

Intel合作使用英特尔® 傲腾™ 持久内存(PMem)PMem Aapp Direct(应用直接访问)模式,基于开源的Redis5.0,研发定制PMemRedis。


、性能提升

部署2台物理机作为DCA集群,在时延满足生产要求下(90%1ms内),数据节点使用原生态Redis性能达到230TPS,而使用PM-Redis + PMem卡则集群性能为210TPS

整体处理能力,较Intel第二代至强处理器+原生态Redis整体性能提升50%的整体性能。



、与常用开源分布式缓存能力比对

DCA产品更关注业务场景的应用,扩展了丰富的数据管理能力,包括:租户模式、数据从不同的物理库的全量,增量刷新,数据稽核,数据稽核,特定数据的整合能力;可实现不停业务的数据扩充等面向业务的能力;

在运维上,实现智慧运维能力,提供了更丰富的运维能力和运维埋点能力,可实现一定程度的自愈能力;

可根据业务的敏感度,对数据接口进行降维处理,实现关键核心能力不受影响。


、适用行业:

电信,金融,电商,工业互联,工业监控,人工智能,车联网等

DCA的实现有助于加速获取洞察,为制定关键业务决策、节约成本和新增收入奠定基础。