万亿数据下的多维实时分析系统,如何做到亚秒级响应(三)
  

marco 1948

{{ttag.title}}

五、设计目标与设计难点



我们多维实时数据分析系统分为三大模块:

  • 实时计算引擎;
  • 实时存储引擎;
  • App层。


难点主要在前两个模块:实时计算引擎和实时存储引擎。

  • 千万级/s的海量数据如何实时接入,并且进行极低延迟维表关联;
  • 实时存储引擎如何支持高并发写入、高可用分布式和高性能索引查询,是比较难的。


这几个模块的具体实现,看一下我们系统的架构设计。

六、架构设计



前端采用的是开源组件Ant Design,利用了Nginx服务器,部署静态页面,并反向代理了浏览器的请求到后台服务器上。

后台服务是基于腾讯自研的RPC后台服务框架写的,并且会进行一些二级缓存。

实时数仓部分,分为了接入层、实时计算层和实时数仓存储层。

  • 接入层主要是从千万级/s的原始消息队列中,拆分出不同行为数据的微队列,拿看点的视频来说,拆分过后,数据就只有百万级/s了;
  • 实时计算层主要负责,多行行为流水数据进行行转列,实时关联用户画像数据和内容维度数据;
  • 实时数仓存储层主要是设计出符合看点业务的,下游好用的实时消息队列。我们暂时提供了两个消息队列,作为实时数仓的两层。一层DWM层是内容ID-用户ID粒度聚合的,就是一条数据包含内容ID-用户ID还有B侧内容数据、C侧用户数据和用户画像数据;另一层是DWS层,是内容ID粒度聚合的,一条数据包含内容ID,B侧数据和C侧数据。可以看到内容ID-用户ID粒度的消息队列流量进一步减小到十万级/s,内容ID粒度的更是万级/s,并且格式更加清晰,维度信息更加丰富。


实时存储部分分为实时写入层、OLAP存储层和后台接口层。

  • 实时写入层主要是负责Hash路由将数据写入;
  • OLAP存储层利用MPP存储引擎,设计符合业务的索引和物化视图,高效存储海量数据;
  • 后台接口层提供高效的多维实时查询接口。

打赏鼓励作者,期待更多好文!

打赏
1人已打赏

一一氵 发表于 2020-10-31 15:05
  
打卡学习
marco 发表于 2020-10-31 10:25
  
打卡,学习
gqce 发表于 2020-10-31 09:17
  
感谢分享
sxfusr 发表于 2020-10-30 23:51
  
打卡学习
发表新帖
热门标签
全部标签>
2025年技术争霸赛
每日一问
标准化排查
GIF动图学习
功能体验
新版本体验
纪元平台
产品连连看
高手请过招
【 社区to talk】
信服课堂视频
2023技术争霸赛专题
每周精选
2024年技术争霸赛
社区新周刊
安全效果
畅聊IT
答题自测
专家问答
技术笔记
技术圆桌
在线直播
MVP
网络基础知识
安装部署配置
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
排障笔记本
产品预警公告
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
卧龙计划
华北区拉练
天逸直播
以战代练
秒懂零信任
技术晨报
平台使用
技术盲盒
山东区技术晨报
文档捉虫
齐鲁TV
华北区交付直播
北京区每日一练
场景专题
故障笔记
排障那些事
西北区每日一问
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力
专家说
热门活动
产品动态
行业实践
产品解析
关键解决方案

本版达人

feeling

本周分享达人

新手29676...

本周提问达人