数据分析模型的三个必备要素 (数据分析师知识框架图)

从数据分析知识体系及实践(一)中,我们了解到数据分析的重要作用、数据分析的定义以及数据分析流程,建立数据分析的基础知识体系;进而从数据分析知识体系及实践(二)中,我们介绍了进行数据分析的角色——数据工程师、数据科学家和机器学习工程师等的职责区别,以及要进行数据分析必备的技术技能和通用技能,构建数据分析的技能知识体系。本章我们继续介绍数据分析的常用数据模型。

数据分析模型是一种数学模型或算法,用于从数据中提取有用信息、识别模式、进行预测或做出决策。这些模型可以基于统计学原理,也可以是机器学习或深度学习算法。数据分析模型的目的是将大量复杂的数据转化为易于理解和操作的洞察,帮助企业或研究者做出基于数据的决策。

组织管理中,使用数据分析科学解决的问题类型有以下:

数据分析实战基本概念,数据分析师知识框架图

科学的方法:

数据分析实战基本概念,数据分析师知识框架图

借助数学分析模型的分析可以让直接的、定性的决策转变为定量决策,定量分析在组织决策中有着很重要的地位,指能刻画问题本质的数据和数量关系,建立能描述问题的数学模型,通过一种或多种数量方法,求出最好的解决方案。即通过 形象的图表、深刻的工具、精确量化的语言以化难为易。

数据分析实战基本概念,数据分析师知识框架图

基于数据分析模型的定量分析示意图如下:

数据分析实战基本概念,数据分析师知识框架图

下面介绍一些常用数据分析模型。

线性回归(Linear Regression)

  • 用途:预测一个变量(因变量)基于一个或多个其他变量(自变量)的值。
  • 应用:销售预测、房价估计、风险评估等。

逻辑回归(Logistic Regression)

  • 用途:用于二分类问题,预测一个事件的发生概率。
  • 应用:信用评分、疾病诊断、客户流失预测等。

决策树(Decision Trees)

  • 用途:分类和回归问题。基于数据特征对实例进行分类或预测数值。
  • 应用:客户细分、*款贷**审批、故障诊断等。

聚类分析(Cluster Analysis)

  • 用途:探索性数据分析工具,将数据分成若干组或“簇”,组内相似度高,组间差异大。
  • 应用:市场细分、社交网络分析、图像分割等。

神经网络和深度学习(Neural Networks and Deep Learning)

  • 用途:模拟人脑处理信息的方式,用于解决复杂的模式识别和预测问题。
  • 应用:语音识别、图像识别、自然语言处理等。

多维度拆解

维度 其实可以理解为 分类方法。每种分类方法都体现出事物的一种 维度。比如现在共有 100 位同学与你一起学习数据分析课程。想一想,你可以通过哪些分类方法把大家分成不同组别呢?

我想到了这几种分类方法:

  • 可以按 性别 分类,把学生分为男同学和女同学,此时 性别 是一种维度;
  • 可以按 文理科 分类,把学生分为文科生和理科生,此时 文理科 是一种维度;
  • 可以按 省份 分类,此时 省份 是一种维度;
  • 可以按 是否学习过数据分析类课程 分类,把学生分为学习过、未曾学过两类,此时 是否学习过数据分析类课程 是一种维度;

数据分析实战基本概念,数据分析师知识框架图

APIL漏斗分析法

通过分解业务流程的每一步,建立漏斗图分析,可以定位业务流程的关键节点。分定节点,算转化,找问题三步。

以淘宝上某商品为例,假设曝光用户有 10000 人,即有 10000 人曾在信息流、店铺首页、其它商品推荐等位置看到过该商品,他们中有 500 人点进商品详情页查看,10 人创建订单,最终 5 人成功购买。我们可以把 曝光 → 浏览商品详情 → 创建订单 → 购买成功 过程绘制成如下漏斗图:

数据分析实战基本概念,数据分析师知识框架图

AIPL 理论模型 是阿里巴巴在某经典营销模型基础上,结合自身数年来在电商领域的实战经验,专门为电商平台打造的理论模型,用于衡量电商平台在各环节的用户转化能力。AIPL 是四个英文单词的缩写,对应着四类人群:

  • Awareness:认知人群,对商品停留在认知层面;
  • Interest:兴趣人群,在认知基础上,对商品产生兴趣;
  • Purchase:购买人群,顾名思义,购买了商品的人群;
  • Loyalty:忠诚人群,即平台的忠实用户,可以理解为“回头客”。

数据分析实战基本概念,数据分析师知识框架图

数据分析实战基本概念,数据分析师知识框架图

数据分析实战基本概念,数据分析师知识框架图

数据分析实战基本概念,数据分析师知识框架图

AB测试法

所谓 AB 测试,就是同时将 A、B 两个方案提供给用户,其中 A 是未经调整的方案,B 是调整过后的方案。放出方案后,决策者通过对比两个方案同期数据表现,决定最终选取哪种方案。

数据分析实战基本概念,数据分析师知识框架图

ABC 分析法

上个世纪,意大利经济学家 帕累托 发现,全球最富有的 20% 人口,竟然掌握着全世界 80% 以上的收入,其不平等现象令人瞠目结舌。其它领域也能发现类似现象:商店 80% 的营业额是 20% 的商品产生的;比较全的字典可以收录多达 20000 个汉字,而我们的常用汉字只有约 3500 个。

这一规律被称为 帕累托法则,也称 二八定律。由此衍生出的分析方法,被称为 帕累托分析法,或者 ABC 分析法。它能帮助我们更好地聚焦于那些占比小但影响深远的因素。

我们可以将商品按单品利润的高低分为 A、B、C 三类,进而针对每一类商品制定不同的营销策略。分类标准如下:

  • A 类商品:单品利润高,占总商品类别的 20%,不出意外会带来总利润的 80% 左右,需要作为下一季的主推商品;
  • B 类商品:单品利润一般,占总商品类别的 15%,带来总利润的 15% 左右;
  • C 类商品:单品利润低,占总商品类别的 65%,不出意外带来的利润只占总利润的 5% 左右,需要清仓处理。

数据分析实战基本概念,数据分析师知识框架图

RFM用户分析法

非常经典且应用广泛的分析模式,也是衡量用户价值和用户创利能力的重要工具和手段。RFM 是三个英文单词的缩写,对应着 **Recency**、**Frequency** 和 **Monetary** 三大维度:

数据分析实战基本概念,数据分析师知识框架图

数据分析实战基本概念,数据分析师知识框架图

  • Recency:最近一次消费时间距统计日天数,反映用户是否流失;
  • Frequency:一段时间内用户的消费次数,反应用户活跃度高低;
  • Monetary:一段时间内用户消费总金额,反应用户价值高低。