万亿数据下的多维实时分析系统,如何做到亚秒级响应(三)
  

marco 1020

{{ttag.title}}

五、设计目标与设计难点



我们多维实时数据分析系统分为三大模块:

  • 实时计算引擎;
  • 实时存储引擎;
  • App层。


难点主要在前两个模块:实时计算引擎和实时存储引擎。

  • 千万级/s的海量数据如何实时接入,并且进行极低延迟维表关联;
  • 实时存储引擎如何支持高并发写入、高可用分布式和高性能索引查询,是比较难的。


这几个模块的具体实现,看一下我们系统的架构设计。

六、架构设计



前端采用的是开源组件Ant Design,利用了Nginx服务器,部署静态页面,并反向代理了浏览器的请求到后台服务器上。

后台服务是基于腾讯自研的RPC后台服务框架写的,并且会进行一些二级缓存。

实时数仓部分,分为了接入层、实时计算层和实时数仓存储层。

  • 接入层主要是从千万级/s的原始消息队列中,拆分出不同行为数据的微队列,拿看点的视频来说,拆分过后,数据就只有百万级/s了;
  • 实时计算层主要负责,多行行为流水数据进行行转列,实时关联用户画像数据和内容维度数据;
  • 实时数仓存储层主要是设计出符合看点业务的,下游好用的实时消息队列。我们暂时提供了两个消息队列,作为实时数仓的两层。一层DWM层是内容ID-用户ID粒度聚合的,就是一条数据包含内容ID-用户ID还有B侧内容数据、C侧用户数据和用户画像数据;另一层是DWS层,是内容ID粒度聚合的,一条数据包含内容ID,B侧数据和C侧数据。可以看到内容ID-用户ID粒度的消息队列流量进一步减小到十万级/s,内容ID粒度的更是万级/s,并且格式更加清晰,维度信息更加丰富。


实时存储部分分为实时写入层、OLAP存储层和后台接口层。

  • 实时写入层主要是负责Hash路由将数据写入;
  • OLAP存储层利用MPP存储引擎,设计符合业务的索引和物化视图,高效存储海量数据;
  • 后台接口层提供高效的多维实时查询接口。

打赏鼓励作者,期待更多好文!

打赏
1人已打赏

一一氵 发表于 2020-10-31 15:05
  
打卡学习
marco 发表于 2020-10-31 10:25
  
打卡,学习
gqce 发表于 2020-10-31 09:17
  
感谢分享
sxfusr 发表于 2020-10-30 23:51
  
打卡学习
发表新帖
热门标签
全部标签>
每日一问
技术盲盒
2024年技术争霸赛
技术笔记
干货满满
产品连连看
信服课堂视频
GIF动图学习
每周精选
2023技术争霸赛专题
秒懂零信任
新版本体验
功能体验
信服圈儿
技术晨报
技术咨询
安全攻防
自助服务平台操作指引
问题分析处理
运维工具
通用技术
答题自测
在线直播
安装部署配置
标准化排查
社区帮助指南
天逸直播
以战代练
齐鲁TV
华北区交付直播
畅聊IT
专家问答
技术圆桌
MVP
网络基础知识
升级
上网策略
测试报告
日志审计
流量管理
每日一记
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
答题榜单公布
纪元平台
卧龙计划
华北区拉练
山东区技术晨报
文档捉虫活动
北京区每日一练

本版版主

12
185
6

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人