数据分析师从零开始学什么 (数据分析师有哪些技术)

对于想入数据行业的朋友来说,数据分析、数据科学、数据工程真的是傻傻分不清楚?自己到底适合哪个岗位?哪个岗位更有就业前景,能获得更多的钱?今天这篇文章就彻底讲清楚。

01数据分析师 Data Analyst

数据工程师和数据分析师,数据分析师到底有多可怕

  • 工作内容:
  • DA侧重分析与报告,简单来说就是通过整合处理数据来分析问题,得到业务洞察和决策。虽然大部分时候,DA只是数据行业中的“初级职位”,但并不是所有DA只能胜任入门级的任务。

    具体流程:DA首先要理解用户需求,然后用SQL将相关数据从数据库中提取出来,之后就使用分析工具,如Excel, FineBI, Tableau, Python等对数据进行整合、分组、对比、做指标、特征提取等处理,进而对数据进行分析,最后将结果做成dashboard汇报展示给领导和业务。

    • 常用软件:

    Excel,SQL,Tableau,Power BI,FineBI,Python,PPT。

    • 知识技能:

    不需要太多的数学和编程知识,要会SQL和可视化的工具,有的工作也需要一些Python,基本的统计知识也需要知道一些。沟通能力和商业理解力很重要。

    • 岗位薪资:15-20k*15(左右-大厂)

    02数据科学家 Data Scientist

    数据工程师和数据分析师,数据分析师到底有多可怕

  • 工作内容:
  • DS和DA相似,基本的工作流程差不多,仍然需要对数据进行清洗、分析和可视化处理。但DS在技术方面有更深的研究,他们在分析时会常会使用专业知识构建机器学习模型并训练与优化,再以此做出预测并对关键业务问题进行解答。如果数据量大还会用到Spark做分布式计算。

    以下是数据科学家所做工作的示例:

    • 评估统计模型以确定分析的有效性。
    • 使用机器学习构建更好的预测算法。
    • 测试并不断提高机器学习模型的准确性。
    • 构建数据可视化以总结高级分析的结论。
    • 常用软件:

    Python,R,SQL,Spark,cloud,Git

    • 知识技能:

    数学统计知识要求较高,除了理解各种机器学习模型外,还需要理解微积分线性代数,概率分布,假设检验,AB Test等。

    编程能力是必备,并需要熟练使用各种机器学习包。除此之外,SQL也是基础。会spark更好,不会也可以现学。和DA一样,沟通能力和商业理解能力很重要。

    DS为理解数据带来了全新的方法和视角。虽然DA可能能够描述趋势并将这些结果转化为商业术语,但DS将提出新的问题,并能够构建模型以根据新数据进行预测。

    • 岗位薪资:20-25k*15(左右-大厂)

    03数据工程师 Data Engineer

    数据工程师和数据分析师,数据分析师到底有多可怕

  • 工作内容:
  • 这跟前两个区别很大,更像软件工程师。DE主要负责获取、转换及存储数据,把凌乱的原始数据转换成干净可用的数据并存储至数据库,并保证其他用户对数据的可访问性。DE是系统的构建者与优化者,DA和DS在DE所建立的基础上才能最大程度发挥自己的作用。

    以下是数据工程师工作示例:

    • 将外部或新数据集集成到现有数据管道中。
    • 在新数据上应用机器学习模型的特征转换。
    • 持续监控和测试系统以确保优化性能。
    • 常用软件:

    Python,SQL database,Data lake/warehouse,Spark,cloud,devops

    • 知识技能:

    对各种系统、架构等要有充分理解,编程要求高。

    • 岗位薪资:25-30k*15(左右-大厂)

    PS

    由于数据分析师、数据科学家和数据工程师都是外文DA、DS、DE的直译,在国内的招聘软件上,他们还会对应不同的岗位。以boss直聘上的岗位为例,数据分析师就是DA,数据挖掘属于DS,ETL工程师、数据仓库和数据开发是属于DE。除此以外,还有其他不同名称的岗位,大家可以更具岗位JD来详细了解企业具体招聘的是什么样的数据人才。

    04三者是如何配合工作的

    DE的重心在后端,他们需要持续优化数据通道,以确保组织所依赖的数据准确可用。他们会利用各种不同的工具来确保数据得到正确处理,并确保在任何时候用户都可以顺畅地使用正确的数据。一个好的DE可以为企业的其他成员节省大量的时间和精力。

    DA使用DE所构建的自定义接口来提取新的数据集,并对其中的数据趋势进行识别,同时对异常数据进行分析。分析师们将会对结果进行总结,并以一种清晰直观的方式来展示这些结果,以便于其它非技术团队能够更好地了解他们目前的工作效果。

    最后,DS将会在DA分析得出的初步结果上进一步深入研究,以了解更多可能的情况与有价值的信息。无论是通过训练机器学习模型,还是利用高级统计分析技巧,DA都将对未来进行预测,并提供全新的洞察视角。