微博广告投放运营 (微博广告数据)

微博系统表结构设计,微博广告投放运营

微博从2011年启动商业化建设,是国内信息流广告的鼻祖,开创了信息流广告的新时代。2018年1月7日,微博发布2017年第三季度财报,财报显示月活(MAU)3.76亿、日活(DAU)1.65亿、移动端占比92%、财务增长80%,广告收入助涨微博市值不断攀升。

微博系统表结构设计,微博广告投放运营

微博广告收入

针对如此巨大的用户量以及数据量,那么微博是如何通过大数据技术搭建核心架构的呢?

1、微博广告精准人群定向

在给定的一系列的用户和上下文环境的组合中,去寻求最合适的广告投放策略进行广告展现,从而实现广告价值最大化。

  • 200多种的用户属性和行为标签;

  • 支持广告主自定义受众;

  • 相似人群扩展挖掘类似受众;

  • 帮助广告主精准刻画;

  • 锁定目标用户进行广告投放。

微博系统表结构设计,微博广告投放运营

2、微博广告系统主要指标

微博广告经过7年的发展,技术架构不断演进,已经形成了支撑相当丰富的广告形式的非常完整的大数据技术体系。

  • 广告请求量:30亿/天;

  • 投放性能指标:索引平均RT:20ms,整体平均RT:90ms;

  • 数据规模: 存储:10TB/天 增量, 计算:330TB/天;

  • 报表引擎: 性能:14ms;

  • 系统可用性: > 999;

  • 结算延时:秒级。

3、微博广告架构全景图

微博系统表结构设计,微博广告投放运营

微博广告架构全景图

4、微博广告功能简图

微博系统表结构设计,微博广告投放运营

微博广告功能简图

5、微博广告投放端核心服务

1)广告竞价队列产生

  • 广告主视角:完成广告精准受众定向,圈 定用户;

  • 用户视角:锁定感兴趣的广告。

2)广告竞价队列处理

  • 基于策略的过滤处理;

  • 劣汰:排除质量差;

  • 不满足策略的广告。

3)广告竞价队列决策

  • 价值最优化评估决策;

  • 优胜:挑选优质的广告。

6、微博广告投放端整体架构

广告投放端整体架构(简单地分为接入端、逻辑层、检索端)。

微博系统表结构设计,微博广告投放运营

微博广告投放端整体架构

1)接入层

微博系统表结构设计,微博广告投放运营

接入层

微博系统表结构设计,微博广告投放运营

智能流量控制

2)检索服务

微博系统表结构设计,微博广告投放运营

3)检索服务

微博系统表结构设计,微博广告投放运营

微博系统表结构设计,微博广告投放运营

微博系统表结构设计,微博广告投放运营

4)整体性能

微博系统表结构设计,微博广告投放运营

40ms以内

7、微博广告D+平台核心功能

  • 实时监控:整合了广告投放的各个维度监控,支撑了广告投放、引擎、 算法、效果等全面的实时监控 能力;

  • 实时计算:法拉第实验平台已经全面由D+作为底层数 据支撑;

  • 统计报表:日常报表需求,日报、周报、月报、季报等数据报表,支持数据导出;

  • 商业数据分析:挖掘数据价值,寻找 提升广告收入的切入点。

8、微博广告D+平台数据架构图

微博系统表结构设计,微博广告投放运营

9、微博广告D+平台数据仓库

微博系统表结构设计,微博广告投放运营

D+平台数据仓库

10、微博广告D+平台实时系统(以监控平台为例)

1)实时监控与报警系统

微博系统表结构设计,微博广告投放运营

缺点:

  • Graphite数据格式固定,指标数据无法预先聚合,不能对数据分片;

  • 在同时读取数量比较多的文件时,Whisper存储引擎IOPS高;

  • Carbon组件CPU使用率高;

  • 监控报警分离。

微博系统表结构设计,微博广告投放运营

数据实时报表引擎

2)曝光与互动实时关联

微博系统表结构设计,微博广告投放运营

3)数据查询

微博系统表结构设计,微博广告投放运营

优点:

  • 通过ES提供原始数据查询平台;

  • 通过MySQL主从复制,冗余报警数据规则;

  • 通过ES分析较大基数的维度;

  • ES与Druid的数据冗余;

  • 通过Druid和ES整合监控报警数据源;

  • 通过HDFS刷新聚合历史数据。

缺点:

  • Grafana实时指标刷新缓慢;

  • 指标报警操作复杂;

  • ES无法满足千万级别基数的维度;

  • 无法支持指标数据二次计算。

11、微博广告法拉第分层实验平台

微博系统表结构设计,微博广告投放运营

法拉第分层实验平台

加米谷大数据微博广告系统核心大数据架构解析。有兴趣的童鞋请关注加米谷大数据,后续将持续分享大数据相关技术及互联网应用案例技术解析。需要大数据技术资料的童鞋可以关注本头条号后私信获取。