万亿数据下的多维实时分析系统,如何做到亚秒级响应(三)
  

marco 986

{{ttag.title}}

五、设计目标与设计难点



我们多维实时数据分析系统分为三大模块:

  • 实时计算引擎;
  • 实时存储引擎;
  • App层。


难点主要在前两个模块:实时计算引擎和实时存储引擎。

  • 千万级/s的海量数据如何实时接入,并且进行极低延迟维表关联;
  • 实时存储引擎如何支持高并发写入、高可用分布式和高性能索引查询,是比较难的。


这几个模块的具体实现,看一下我们系统的架构设计。

六、架构设计



前端采用的是开源组件Ant Design,利用了Nginx服务器,部署静态页面,并反向代理了浏览器的请求到后台服务器上。

后台服务是基于腾讯自研的RPC后台服务框架写的,并且会进行一些二级缓存。

实时数仓部分,分为了接入层、实时计算层和实时数仓存储层。

  • 接入层主要是从千万级/s的原始消息队列中,拆分出不同行为数据的微队列,拿看点的视频来说,拆分过后,数据就只有百万级/s了;
  • 实时计算层主要负责,多行行为流水数据进行行转列,实时关联用户画像数据和内容维度数据;
  • 实时数仓存储层主要是设计出符合看点业务的,下游好用的实时消息队列。我们暂时提供了两个消息队列,作为实时数仓的两层。一层DWM层是内容ID-用户ID粒度聚合的,就是一条数据包含内容ID-用户ID还有B侧内容数据、C侧用户数据和用户画像数据;另一层是DWS层,是内容ID粒度聚合的,一条数据包含内容ID,B侧数据和C侧数据。可以看到内容ID-用户ID粒度的消息队列流量进一步减小到十万级/s,内容ID粒度的更是万级/s,并且格式更加清晰,维度信息更加丰富。


实时存储部分分为实时写入层、OLAP存储层和后台接口层。

  • 实时写入层主要是负责Hash路由将数据写入;
  • OLAP存储层利用MPP存储引擎,设计符合业务的索引和物化视图,高效存储海量数据;
  • 后台接口层提供高效的多维实时查询接口。

打赏鼓励作者,期待更多好文!

打赏
1人已打赏

sxfusr 发表于 2020-10-30 23:51
  
打卡学习
gqce 发表于 2020-10-31 09:17
  
感谢分享
marco 发表于 2020-10-31 10:25
  
打卡,学习
一一氵 发表于 2020-10-31 15:05
  
打卡学习
发表新帖
热门标签
全部标签>
每日一问
技术盲盒
干货满满
新版本体验
技术笔记
标准化排查
产品连连看
功能体验
技术晨报
信服课堂视频
GIF动图学习
技术咨询
用户认证
2023技术争霸赛专题
安装部署配置
运维工具
玩转零信任
自助服务平台操作指引
解决方案
VPN 对接
专家分享
社区帮助指南
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
云计算知识
原创分享
sangfor周刊
项目案例
SANGFOR资讯
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
答题榜单公布
纪元平台
通用技术
卧龙计划
华北区拉练
天逸直播
以战代练
秒懂零信任
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选

本版版主

12
185
6

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人