
微博从2011年启动商业化建设,是国内信息流广告的鼻祖,开创了信息流广告的新时代。2018年1月7日,微博发布2017年第三季度财报,财报显示月活(MAU)3.76亿、日活(DAU)1.65亿、移动端占比92%、财务增长80%,广告收入助涨微博市值不断攀升。

微博广告收入
针对如此巨大的用户量以及数据量,那么微博是如何通过大数据技术搭建核心架构的呢?
1、微博广告精准人群定向
在给定的一系列的用户和上下文环境的组合中,去寻求最合适的广告投放策略进行广告展现,从而实现广告价值最大化。
-
200多种的用户属性和行为标签;
-
支持广告主自定义受众;
-
相似人群扩展挖掘类似受众;
-
帮助广告主精准刻画;
-
锁定目标用户进行广告投放。

2、微博广告系统主要指标
微博广告经过7年的发展,技术架构不断演进,已经形成了支撑相当丰富的广告形式的非常完整的大数据技术体系。
-
广告请求量:30亿/天;
-
投放性能指标:索引平均RT:20ms,整体平均RT:90ms;
-
数据规模: 存储:10TB/天 增量, 计算:330TB/天;
-
报表引擎: 性能:14ms;
-
系统可用性: > 999;
-
结算延时:秒级。
3、微博广告架构全景图

微博广告架构全景图
4、微博广告功能简图

微博广告功能简图
5、微博广告投放端核心服务
1)广告竞价队列产生
-
广告主视角:完成广告精准受众定向,圈 定用户;
-
用户视角:锁定感兴趣的广告。
2)广告竞价队列处理
-
基于策略的过滤处理;
-
劣汰:排除质量差;
-
不满足策略的广告。
3)广告竞价队列决策
-
价值最优化评估决策;
-
优胜:挑选优质的广告。
6、微博广告投放端整体架构
广告投放端整体架构(简单地分为接入端、逻辑层、检索端)。

微博广告投放端整体架构
1)接入层

接入层

智能流量控制
2)检索服务

3)检索服务



4)整体性能

40ms以内
7、微博广告D+平台核心功能
-
实时监控:整合了广告投放的各个维度监控,支撑了广告投放、引擎、 算法、效果等全面的实时监控 能力;
-
实时计算:法拉第实验平台已经全面由D+作为底层数 据支撑;
-
统计报表:日常报表需求,日报、周报、月报、季报等数据报表,支持数据导出;
-
商业数据分析:挖掘数据价值,寻找 提升广告收入的切入点。
8、微博广告D+平台数据架构图

9、微博广告D+平台数据仓库

D+平台数据仓库
10、微博广告D+平台实时系统(以监控平台为例)
1)实时监控与报警系统

缺点:
-
Graphite数据格式固定,指标数据无法预先聚合,不能对数据分片;
-
在同时读取数量比较多的文件时,Whisper存储引擎IOPS高;
-
Carbon组件CPU使用率高;
-
监控报警分离。

数据实时报表引擎
2)曝光与互动实时关联

3)数据查询

优点:
-
通过ES提供原始数据查询平台;
-
通过MySQL主从复制,冗余报警数据规则;
-
通过ES分析较大基数的维度;
-
ES与Druid的数据冗余;
-
通过Druid和ES整合监控报警数据源;
-
通过HDFS刷新聚合历史数据。
缺点:
-
Grafana实时指标刷新缓慢;
-
指标报警操作复杂;
-
ES无法满足千万级别基数的维度;
-
无法支持指标数据二次计算。
11、微博广告法拉第分层实验平台

法拉第分层实验平台
加米谷大数据微博广告系统核心大数据架构解析。有兴趣的童鞋请关注加米谷大数据,后续将持续分享大数据相关技术及互联网应用案例技术解析。需要大数据技术资料的童鞋可以关注本头条号后私信获取。