raybet

大数据解决方案

当前位置:>大数据解决方案>大数据解决方案>

背景

目前数据应用主要集中在云端,存在数据链路长,业务闭环大、云端与边缘端存在重复开发、数据冗余,以及从数据采集到数据分析链条采用多代码开发,计算资源消耗高,数据分析性能低,页面展示延迟大,维护困难等问题。

整体架构

da-1.png

平台部署在云端,数据源整合结构化数据、非结构化数据以及半结构化数据,涵盖广泛的数据源。数据采集包括批量采集、实时采集和IoT采集。

da-2.png

存储引擎部分结合实际应用管理存储各种类型大数据;计算引擎提供高速计算能力,包括:离线计算、内存计算、流计算和查询计算;资源调度平台提供统一的资源管理与调度。

da-3.png

数据服务可根据不同的业务需求提供数据集服务、API服务、BI数据服务和AI数据服务。

data-1.jpg

典型场景

OLAP分析场景

业务场景:

海量明细数据的实时OLAP,秒级响应

查询维度灵活多变,无法通过预计算建立Cube

全SQL接口,支持对接各种BI工具

支持分钟级数据写入

data-2.jpg

实时分析场景

业务场景:

基于实时数据的实时分析场景,一般要求端到端的秒级响应。

支持分钟级数据写入

data-3.jpg

高并发明细查询场景

业务场景:

基于主键的明细数据检索,一般要求1s内相应;

查询维度灵活多变,无法通过预计算建立Cube

高并发,有可能达到数千甚至上万的并发。

data-4.jpg