Python大数据教程黑马程序员 [复制链接]

零基础怎么系统学习大数据？什么大数据教程适合入门？Python+大数据所需要学习的内容纷杂，难度很大。黑马程序员特别整理了全面的Python+大数据学习教程，帮大家了理清入门思路。

图片为黑马程序员的Python+大数据课程体系V3.0版本。这套课程，按照一天学习6个小时的时间，大概6个月可以完成数据开发工程师的学习，获得3-4年的开发经验。

零、自学资源区哪里找

B站找到黑马程序员Python大数据的分类当中，有从零到项目的学习课程。具体的学习顺序也为大家整理好了，如下。

一、大数据方向Python需要掌握的知识

学习目标：

掌握Python开发环境的基本配置

掌握运算符、表达式、流程控制语句、数组等的使用

掌握字符串的基本操作

初步建立面向对象的编程思维

熟悉异常捕获的接班流程以及使用方式

掌握类和对象的基本使用方式

以上只是基础部分的学习，后续的面向对象、网络编程、多任务编程、高级语法是进阶的学习。以项目作为所学知识的结尾，可以完成综合案例的话能提高编程能力，培养思维。

二、SQL基础

掌握MySQL/SQL、Kattle以及BI工具的使用，能够解决传统数仓业务开发任务。

这个阶段需要熟练掌握MySQL数据库的使用、SQL相关的语法。以及Kettle数据迁移工具的使用和BI可视化工具。对数据开发有一定的认知，掌握BI工程师所具备的基本技能。

三、ETL实战

本阶段需要学习完整的额PythonELT解决方案、kettle数据采集解决方案、DS调度解决方案，基于FineBI的BI解决方案。

主要知识点包括：

ETL概念与工具、PythonELT实战、基于FineBI完成数据分析实战、将收音机上传到后台的订单数据采集到数仓中、将后台的程序日志采集到数仓中。

四、Hadoop技术栈

1.掌握Linux常用命令，为数据开发后续学习打下的良好基础；2.掌握大数据的核心框架Hadoop以及其生态体系，完成HDFS、MapReduce及Yarn机制基本理解与使用；能顾搭建Hadoop高可用HA集群；3.掌握Hive的使用和调优；4.具备Hadoop开发能力、离线数据仓库开发能力；5.能够完成基本构建企业级数仓。

本阶段的学习，能够为解决为企业级大数据集群搭建的问题，为进阶大数据开发奠定基础。

五、千亿级离线数仓项目

掌握离线数仓的分层与建模、大数据量场景下如何优化配置，拉链表的具体应用，新增数据的抽取和分析，更新数据的抽取和分析，以及Hive函数的具体应用等。ClouderaManager可视化、自动部署和配置、Git的CodeReview功能保证项目高质量离线数仓的分层与建模项目涉及20多个主题，多个指标场景帆软BI企业级报表展示。

六、Spark技术栈

七、NoSQL消息中心

八、梳理学习技术

看上面的技术大家可能会有一些迷茫，特别按照大数据的技术方向给大家梳理了下知识点：数据采集：ELT工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或者数据几十种，成为联级分析处理、数据挖掘的基础。

数据存储：这里涉及到的是关系数据库的知识点、NoSQL、SQL等。

基础架构：云存储、分布式文件存储。

数据处理：自然语言处理是研究人与计算机交互的一门学科。

统计分析：这里涉及的分析内容很多，建议大家可以看书学习。

数据挖掘：分类、估计、预测、相关性分组货关联规则、聚类、描述和可视化、复杂数据类型挖掘等。

建议学习过程中多结合项目区进行学习，项目学习的流程：

总结

以Python编程语言入门，再到BI，完成零基础入门大数据打开的学习。后面的Hadoop、Spark、Flink等技术学习，尽量结合实际项目，可以快速提升实战能力。以上就是Python+大数据学习路线图、Python+大数据学习教程分享，希望对你有用。