现在学习大数据晚吗？
发表于 15:32|
来源ppvke.com|
作者ppvke.com
摘要：作为一门对数学和计算机都有较高要求的一门交叉学科，从事大数据是有一定门槛的，但相对于10年以上的职业生涯（国外顶尖数据科学家50-60岁仍然十分活跃），预备半年的时间来学习这个最炙手可热的技能还是很划算的。
PPV课网站上经常有人问这个问题，在回答这个问题之前，先看一段对话：
Q:你好老师,我想问下现在从事大数据相关的行业是不是有点晚了，
现在大数据这块就业就是开发吗？市场需求大吗？
A:现在学不晚，大数据人才供不应求
Q:但是从智联搜大数据也就是就是几千个岗位
A:这个职位大部分行业都需要，市场、营销、运营相关的需求很多。大数据不是职位，你要搜数据分析师、大数据工程师、算法工程师、数据建模师
Q:哦这样啊&
Q:那请问&我想搞BI,现在和大数据结合的一般是怎样呢
要会哪些技术呢?是在北京还是上海呢?
A:BI工程师和大数据工程师的要求差不多，需要熟悉数据库，同时掌握开发工具。相对于传统的BI工程师，大数据工程师还需要掌握数据仓库和NoSql，你可以看下这篇文章
北京提供的大数据相关职位基本占到了全国的40%以上，是最多的，上海也超过了20%
(数据来源：LinkedIn：2016年中国互联网最热职位人才库报告)
Q:我底子很差&做数据分析师好像没戏哈哈
高数学的都忘记了,自己做算法开发没戏
A:数学往后学比较重要，入门用到了再去补吧.很多算法不需要知道原理，刚开始知道怎么用就可以了.
Q:嗯&但是这样&面试人家一问&就露馅了&用入门的人的公司多吗？
A：入门理解业务场景和掌握分析方法很重要，工具是其次，数学再次之。
但如果数学功底不行，会限制你到达的高度。
现在，让我们再回到到第一个问题：现在学大数据晚吗？这个问题我想从三个方面回答。第一个问题：
大数据是否过热了？
很多时候我们急于回答问题，却忽略了问题本身。Big Data这个词翻译过来就是大数据，在脱离了语境的情况下，这个词可能代表&大数据技术&、&大数据集&、&大数据应用&等各种含义，所以要想回答这个问题，并不是件容易的事情。
就这个问题而言，我们可以把它分为&大数据技术是否过热&和&大数据应用(或者大数据产业)&是否过热？我们都知道技术和应用相辅相成，技术是基础，应用是商业价值变现。他们有着各自的发展轨迹，彼此并不完全重合。让我们先看一下大数据技术和大数据应用的发展阶段和历史趋势：
2011年，麦肯锡全球研究院发布的《大数据：下一个创新、竞争和生产力的前沿》研究报告最早提出词汇&Big&Data&。
2012年，维克托&舍恩伯格《大数据时代：生活、工作与思维的大变革》的宣传推广，大数据概念开始风靡全球。
技术突破阶段
年，处于围绕非结构化数据自由探索阶段。非结构化数据的爆发带动大数据技术的快速突破，以2004年Facebook创立为标志，社交网络的流行直接导致大量非结构化数据的涌现，而传统处理方法难以应对。此时的热点关键词较为分散，包括了&Systems&（系统）、&Networks&（网络）、&Evolution&（演化）等，高被引文献也很少，说明学术界、企业界正从多角度对数据处理系统、数据库架构进行重新思考，且尚未形成共识。
年，大数据技术形成并行运算与分布式系统，为大数据发展的成熟期。Jeff&Dean在BigTable基础上开发了Spanner数据库（2009）。此阶段，大数据研究的热点关键词再次趋于集中，聚焦&Performance&（性能）、&CloudComputing&（云计算）、&MapReduce&（大规模数据集并行运算算法）、&Hadoop&（开源分布式系统基础架构）等。
2010年以来，随着智能手机的应用日益广泛，数据的碎片化、分布式、流媒体特征更加明显，移动数据急剧增长。&近年来大数据不断地向社会各行各业渗透，使得大数据的技术领域和行业边界愈来愈模糊和变动不居，应用创新已超越技术本身更受到青睐。大数据技术可以为每一个领域带来变革性影响，并且正在成为各行各业颠覆性创新的原动力和助推器。
2012年，美国政府在白宫网站发布《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。之后美国政府宣布2亿美元投资大数据领域，大数据技术从商业行为上升到国家科技战略。联合国在纽约发布大数据政务白皮书，总结了各国政府如何利用大数据技术更好地服务和保护人民。
2013年，英国政府宣布注资6亿英镑发展8类高新技术，其中，1.89亿英镑用来发展大数据技术。欧盟实施开放数据战略，旨在开放欧盟公共管理部门的所有信息。
2014年5月，美国白宫发布了2014年全球&大数据&白皮书的研究报告《大数据：抓住机遇、守护价值》。全球大数据产业的日趋活跃，技术演进和应用创新的加速发展，使各国政府逐渐认识到大数据在推动经济发展、改善公共服务，增进人民福祉，乃至保障国家安全方面的重大意义。
2014年，数据开放运动已覆盖全球44个国家。国务院通过《企业信息公示暂行条例（草案）》，要求在企业部门间建立互联共享信息平台，运用大数据技术等手段提升监管水平。
2015年，五中全会的&十三五&规划中将大数据作为国家级战略。
Gartner是一家领先的市场和技术研究公司，在Gartner 2015新兴技术发展周期报告。自动驾驶汽车与物联网处在顶峰部位，而大数据技术并未列入其中。
在2014年的报告中，我们却可以清晰的看到大数据刚刚过了新兴技术的顶峰。
许多人以此为依据，说大数据已近过时了，事实是，Gartner这张图反应的是新兴技术的发展趋势，也就是说经过10年的发展，大数据的相关技术已近十分成熟，已近退出了新兴技术的范畴。其实，早在2013年5月，麦肯锡全球研究所（McKinsey&Global&Institute）发布了一份名为《颠覆性技术：技术进步改变生活、商业和全球经济》的研究报告。报告确认的未来12种新兴技术，有望在2025年带来14万亿至33万亿美元的经济效益。令人惊讶的是，最为热门的大数据技术也未被列入其中。麦肯锡专门解释称，大数据技术已成为这些可能改变世界格局的12项技术中许多技术的基石，包括移动互联网、知识工作自动化、物联网、云计算、先进机器人、自动汽车、基因组学等都少不了大数据应用。
所以，大数据应用不存在所谓&过热&和&虚火&的问题，事实恰恰相反，伴随着大数据技术的成熟，大数据应用的普及和发展才刚刚开始，我们预计未来10年，甚至更长一段时间都是大数据黄金发展阶段，相关的行业将引来巨大的发展机遇。
第二个问题是：
大数据相关职位需求多吗？
不管是国内还是国外，大数据相关的人才都是供不应求的局面。根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。
根据根据Linkedin《2016年中国互联网最热职位人才库报告》，数据分析人才被列为Top6的热门职位。
可以看出，这些职位都是当下任何互联网公司要建立发展必不可少的岗位，尤其是数据分析人才，伴随着大数据在互联网行业更多的应用而愈加重要。
在这份报告中，数据分析人才的供给指数最低，仅为0.05，相当于20个职位同时在竞争一个求职者。这在一定程度上反映了行业现状，很多互联网公司 都逐渐意识到了数据的重要性，但却缺乏相关的专业人才来分析和管理数据。
数据来源：LinkedIn：2016年中国互联网最热职位人才库报告
第三个问题
入行的学习时间？
这个问题其实是没有标准答案的，取决于你的专业基础和要从事的职位。以数据分析师为例，先看一下国内知名互联网数据分析师的招聘要求：
1.&计算机、统计学、数学等相关专业本科及以上学历；&
2.&具有深厚的统计学、数据挖掘知识，熟悉数据仓库和数据挖掘的相关技术，能够熟练地使用SQL；
3.&三年以上具有海量数据挖掘、分析相关项目实施的工作经验，参与过较完整的数据采集、整理、分析和建模工作；
4.&对商业和业务逻辑敏感，熟悉传统行业数据挖掘背景、了解市场特点及用户需求，有互联网相关行业背景，有网站用户行为研究和文本挖掘经验尤佳；
5.&具备良好的逻辑分析能力、组织沟通能力和团队精神；&
6.&富有创新精神，充满激情，乐于接受挑战
前三个属于硬件要求，一般而言，有专业基础(计算机、统计学、数学等相关专业)入行需要3个月以上的学习，而要成为一个熟手(企业用工需求最多)则需要2-3年以上的项目经验和行业经验。对于非专业背景的同学，入行的时间可能需要的更长，建议给自己预留6-12月的时间。
Anyway,作为一门对数学和计算机都有较高要求的一门交叉学科，从事大数据是有一定门槛的，但相对于10年以上的职业生涯（国外顶尖数据科学家50-60岁仍然十分活跃），预备半年的时间来学习这个最炙手可热的技能还是很划算的。
在职业规划这个问题上有位哲学家说过，最重要的人际关系就是自己和自己的关系，知道自己要什么，不要什么。在转行的问题上也是一样。 有人会说，转行是让自己之前几年的经验积累全都作废了，其实社会经验和人生理念是不管改到哪一行都能发挥效用的。而之前的人际关系也是属于&山不转水转&的问题，你很难说哪一类人际关系是有用的，哪一类是没有用&&基于这个道理，应该统统视作为有用的。 不怕失去，才可能会有更多收获。只要有明确的发展规划，当然应该义无反顾地去投入新的开始。人生的机会并不多，即使你已经到了30岁，对大多数人来说，只是职业生涯的前半部分，完全不必缩头缩脑患得患失。
PPV课原创作品，未经许可严禁转载
PPV课-国内领先的大数据学习社区和职业培训平台，欢迎关注！
原文链接：
声明：CSDN登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章尚学堂集团旗下品牌：
全国咨询热线：400-009-1906
全国24小时免费热线400-009-1906
大数据机构的学费是多少?大数据培训哪家好
时间： 14:35:20&&&来源：尚学堂&&&阅读：
　　大数据机构的学费是多少?是大多数想要学习大数据学员都会考虑的一个问题。大数据时代来临，现在是学习大数据非常好的时间，那么，哪家好呢?大数据机构的学费是多少?下面就由小编具体为大家介绍一下。
　　大数据机构的学费是多少?现在市面上机构有很多，且培训费用也各不一样，便宜的有几千块钱的，跟现在网上卖的视频一个价钱，贵的有2万多，这主要根据课程、师资和环境所决定。
　　照目前的市场来看，大数据收费差不多平均在20000元左右是合理的，如果这个机构的在课程、师资、项目、硬件等方面都是合格的，那么这个大数据培训机构就是值得的。
　　你要明白自己是不是真的想学习大数据，你想学习大数据想必就会了解大数据的薪资，行情，就大数据开发的薪资而言，初级大数据开发工程师的平均薪资在1w左右，中级大数据开发工程师大约在2w到3w左右，而高级工程师的薪资平均在5w以上。所以说你在担心学费的问题不如来看一下如何选择最适合自己的大数据培训机构的好。
　　线下培训机构的费用较高，但在教学效果上来说，是最好的，课程安排最合理，学员能够在最短的时间内掌握最多最有用的知识。与线上教学相比，参加线下大数据培训的学员还能接触到真正的数据库，真正的大数据设备平台，还有相关项目的练习。拥有项目经验后，找工作也容易了许多。
　　与其去纠结大数据相关培训课程贵吗?大概要多少钱?这种问题，还不如去找到一个有保障的大数据高薪培训学校，毕竟这是关乎到你的未来，你可以想一想自己以后的月薪将达到几万以上，你还在乎你现在所交的这些学费吗。
　　以上就是小编对大数据机构的学费是多少的介绍，希望给大家带来帮助，尚学堂从事IT教育11年，拥有自己的课程体系，每年都会引进最新的大数据实战项目，确保学员能够紧跟企业需求，提高就业竞争力。
本文链接：
尚学堂订阅号
尚学堂服务号
北京海淀区校区（总部）：北京市海淀区西三旗桥东建材城西路85号神州科技园B座尚学堂
北京京南校区：北京亦庄经济开发区科创十四街6号院1号楼 赛蒂国际工业园
咨询电话：400-009-1906 / 010-
面授课程：
上海尚学堂松江校区地址：上海市松江区荣乐东路2369弄45号绿地伯顿大厦2层
咨询电话：021-
面授课程：
广州校区地址：广州市天河区元岗横路31号慧通产业广场B区B1栋6楼尚学堂（地铁3号线或6号线到“天河客运站”D出口，右拐直走约800米）
咨询电话：020-
面授课程：
深圳校区地址：深圳市宝安区航城街道航城大道航城创新创业园A4栋210（固戍地铁站C出口）
咨询电话：5 /
面授课程：
长沙学区地址：长沙市岳麓区麓源路湖南电子商务基地5楼(公交车站：六沟垅)
咨询电话：1
面授课程：
四川学区地址：成都市高新区锦晖西一街99号布鲁明顿大厦2栋1003室
咨询电话：028- /
面授课程：
武汉学区地址：湖北省武汉市江夏区江夏大道26号 宏信悦谷创业园4楼
咨询电话：027-
面授课程：
郑州学区地址：金水区东风路经三路北100米注协大厦10楼
咨询电话：6
面授课程：
山西学区地址：山西省晋中市榆次区大学城大学生活广场万科商业A1座702
咨询电话：&/&
面授课程：勤學如春起之苗，不見其增，日有所長。綴學如磨刀之石，不見其損，日有所虧。...
大数据经典学习路线（及供参考）
1.Linux基础和分布式集群技术
学完此阶段可掌握的核心能力：
熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；
学完此阶段可解决的现实问题：
搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；
学完此阶段可拥有的市场价值：
具备初级程序员必要具备的Linux服务器运维能力。
1.内容介绍：
在大数据领域，使用最多的操作系统就是Linux系列，并且几乎都是分布式集群。该课程为大数据的基础课程，主要介绍Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、防火墙、Shell编程等。
2.案例：搭建互联网高并发、高可靠的服务架构。
2.离线计算系统课程阶段
1. 离线计算系统课程阶段
HADOOP核心技术框架
学完此阶段可掌握的核心能力：
1、通过对大数据技术产生的背景和行业应用案例了解hadoop的作用；2、掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发；3、掌握MAPREDUCE分布式运算系统的工作原理和分布式分析应用开发；4、掌握HIVE数据仓库工具的工作原理及应用开发。
学完此阶段可解决的现实问题：
1、熟练搭建海量数据离线计算平台；2、根据具体业务场景设计、实现海量数据存储方案；3、根据具体数据分析需求实现基于mapreduce的分布式运算程序；
学完此阶段可拥有的市场价值：
具备企业数据部初级应用开发人员的能力
1.1 HADOOP快速入门
1.1.1 hadoop知识背景
什么是hadoop、hadoop产生背景、hadoop在大数据云计算中的位置和关系、国内hadoop的就业情况分析及课程大纲介绍
国内外hadoop应用案例介绍
分布式系统概述、hadoop生态圈及各组成部分的简介
1.1.2 HIVE快速入门
hive基本介绍、hive的使用、数据仓库基本知识
1.1.3 数据分析流程案例
web点击流日志数据挖掘的需求分析、数据来源、处理流程、数据分析结果导出、数据展现
1.1.4 hadoop数据分析系统集群搭建
集群简介、服务器介绍、网络环境设置、服务器系统环境设置、JDK环境安装、hadoop集群安装部署、集群启动、集群状态测试
HIVE的配置安装、HIVE启动、HIVE使用测试
1.2 HDFS详解
1.2.1 HDFS的概念和特性
什么是分布式文件系统、HDFS的设计目标、HDFS与其他分布式存储系统的优劣势比较、HDFS的适用场景
1.2.2 HDFS的shell操作
HDFS命令行客户端启动、HDFS命令行客户端的基本操作、命令行客户端支持的常用命令、常用参数介绍
1.2.3 HDFS的工作机制
HDFS系统的模块架构、HDFS写数据流程、HDFS读数据流程
NAMENODE工作机制、元数据存储机制、元数据手动查看、元数据checkpoint机制、NAMENODE故障恢复、DATANODE工作机制、DATANODE动态增减、全局数据负载均衡
1.2.4 HDFS的java应用开发
搭建开发环境、获取api中的客户端对象、HDFS的java客户端所具备的常用功能、HDFS客户端对文件的常用操作实现、利用HDFS的JAVA客户端开发数据采集和存储系统
1.3 MAPREDUCE详解
1.3.1 MAPREDUCE快速上手
为什么需要MAPREDUCE、MAPREDUCE程序运行演示、MAPREDUCE编程示例及编程规范、MAPREDUCE程序运行模式、MAPREDUCE程序调试debug的几种方式
1.3.2 MAPREDUCE程序的运行机制
MAPREDUCE程序运行流程解析、MAPTASK并发数的决定机制、MAPREDUCE中的combiner组件应用、MAPREDUCE中的序列化框架及应用、MAPREDUCE中的排序、MAPREDUCE中的自定义分区实现、MAPREDUCE的shuffle机制、MAPREDUCE利用数据压缩进行优化、MAPREDUCE程序与YARN之间的关系、MAPREDUCE参数优化
通过以上各组件的详解，深刻理解MAPREDUCE的核心运行机制，从而具备灵活应对各种复杂应用场景的能力
MAPREDUCE实战编程案例：通过一个实战案例来熟悉复杂MAPREDUCE程序的开发。该程序是从nginx服务器产生的访问服务器中计算出每个访客的访问次数及每次访问的时长。原始数据样例如下：
通过一系列的MAPREDUCE程序——清洗、过滤、访问次数及时间分析，最终计算出需求所要的结果，用于支撑页面展现：
1.4 HIVE增强
1.4.1 HIVE基本概念
HIVE应用场景、HIVE内部架构、HIVE与hadoop的关系、HIVE与传统数据库对比、HIVE的数据存储机制、HIVE的运算执行机制
1.4.2 HIVE基本操作
HIVE中的DDL操作、HIVE中的DML操作、在HIVE中如何实现高效的JOIN查询、HIVE的内置函数应用、HIVE shell的高级使用方式、HIVE常用参数配置、HIVE自定义函数和TRANSFORM的使用技巧、HIVE UDF开发实例
1.4.3 HIVE高级应用
HIVE执行过程分析及优化策略、HIVE在实战中的最佳实践案例、HIVE优化分类详解、HIVE实战案例--数据ETL、HIVE实战案例--用户访问时长统计
HIVE实战案例--级联求和报表实例：
离线数据挖掘系统
学完此阶段可掌握的核心能力：
1、通过对数据仓库知识的加强初步掌握数据仓库的核心概念和设计流程;2、通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;3、通过电商系统点击流日志数据挖掘系统实战项目，掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程
学完此阶段可解决的现实问题：
1、可根据企业具体场景设计海量数据分析系统的通用架构2、根据具体场景的特点有针对性地调整数据分析各环节的技术选型;3、根据具体需求搭建起整套离线数据分析系统;4、简单数据仓库模型的设计和架构5、各环节具体功能模块的开发实现
学完此阶段可拥有的市场价值：
具备企业数据部中高级应用开发和初级架构师能力
2.1 数据仓库增强
2.1.1 数据仓库及数据模型入门
什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构
2.1.2 数据仓库设计
建立数据仓库的步骤、数据的抽取、数据的转换、数据的加载、什么是数据模型、数据模型的常见类型、如何设计数据模型、如何选择数据建模的架构
典型数据模型——星型建模实例
2.1.3 数据仓库建模样例
业务建模、领域建模、逻辑建模、物理建模
web点击流日志分析系统数据仓库设计实战：
通过对数据特点和业务需求的分析，关系梳理，设计出一个主题明确、层次合理的数据模型
2.2 离线辅助系统
2.2.1 数据采集系统
数据采集概念介绍
FLUME日志采集框架介绍、FLUME工作机制、FLUME核心组件、FLUME参数配置说明、FLUME采集nginx日志实战案例
2.2.2 任务调度系统
任务调度系统概念介绍、常用任务调度工具比较、OOZIE介绍、OOZIE核心概念、OOZIE的配置说明、OOIZE实现mapreduce/hive等任务调度实战案例
2.2.3 数据导出
数据导出概念介绍、SQOOP基础知识、SQOOP原理及配置说明、SQOOP数据导入实战、SQOOP数据导出实战、SQOOP批量作业操作
2.3 web点击流日志分析系统实战项目
2.3.1 项目介绍
1. 在PC时代，营销的核心是购买，在移动互联网时代，其核心是如何实现用户个性化互动，对用户传播更为精准化的内容，而实现这一核心的基础就是对数据的管理和分析——数据驱动型商业模型。
2. 各类互联网服务产品(如网站、APP)都可以通过前端技术获取用户的详细行为数据(如访问的页面，点击的区域、登陆的频次、注册行为、购买的行为等)，将这些点击流日志数据与后台商业数据综合起来，就可以挖掘对公司运营决策意义非凡的商业价值。
3. 本项目则是一个用大数据技术平台实现的点击流日志分析数据挖掘系统，项目内容涵盖一个典型数据挖掘系统中，包括需求分析、数据采集、数据存储管理、数据清洗、数据仓库设计、ETL、业务模型统计分析、数据可视化的全部流程。
2.3.2 需求分析
什么是点击流日志、点击流日志的商业价值、点击流日志分析需求
业务模型指标体系设计——流量分析、来源分析、受访分析、访客分析、转化率分析
2.3.3 系统设计及开发
1. 系统架构设计
2. 数据采集设计及开发——数据格式、数据内容分析、数据生成规律、采集系统技术选型解析、FLUME采集系统实现
3. 数据存储设计及开发——存储技术选型、存储业务流程解析、存储目录规划及文件命名规则、小文件合并实现
4. 数据统计设计及开发——数据预处理、数据加载、原始数据表的创建、数据入库、数据ETL
5. 报表统计设计——数据模型设计、事实表设计、维度表梳理
6. 业务指标设计及开发——PV统计(时间维度、终端维度、地域维度)、来访次数统计(时间维度、地域维度、终端维度)、独立访客统计(时间维度、终端维度、地域维度)、受访页面统计(时间维度、栏目维度)、页面热点图、转化率分析、来源关键词分析、来源搜索引擎分析、来源广告推广分析
2.3.4 任务调度系统设计实现
任务调度单元实现、各环节任务运行频次及依赖关系梳理、工作流设计及实现、工作流定义配置上传部署、工作流启动即状态监控
2.3.5 数据可视化——结果报表展现
1. hive分析结果使用sqoop导出到msyql数据库
2. 报表展现系统技术选型：
后台使用spingmvc + spring + mybatis
前端页面使用全静态异步刷新技术Jquery + Echarts
3. web展现程序架构搭建，使用maven构建项目工程
4. web展现程序页面设计开发：原型页面设计、js代码开发
5. 最终实现以下数据可视化效果：
(1)流量概况可视化效果：
(2)来源地域分析可视化效果：
(3)来源类型分析可视化效果：
3.Storm实时计算部分阶段
实时课程分为两个部分：流式计算核心技术和流式计算计算案例实战。
1.流式计算核心技术
流式计算核心技术主要分为两个核心技术点：Storm和Kafka，学完此阶段能够掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用。具备开发基于storm实时计算程序的技术能力。
学完此阶段可掌握的核心能力：
(1)、理解实时计算及应用场景
(2)、掌握Storm程序的开发及底层原理、掌握Kafka消息队列的开发及底层原理
(3)、具备Kafka与Storm集成使用的能力
学完此阶段可解决的现实问题：
具备开发基于storm的实时计算程序的能力
学完此阶段可拥有的市场价值：
具备实时计算开发的技术能力、但理解企业业务的能力不足
1.1、流式计算一般结构
2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案。就在人们翘首以待的时间节点，storm横空出世，与生俱来的分布式、高可靠、高吞吐的特性，横扫市面上的一些流式计算框架，渐渐的成为了流式计算的首选框架。如果庞麦郎在的话，他一定会说，这就是我要的滑板鞋!
上图是流式分析的一般架构图，抽象出四个步骤就是数据采集、数据缓冲、数据处理、数据输出。一般情况下，我们采用Flume+kafka+Storm+Redis的结构来进行流式数据分析。实时部分的课程主要是针对Kafka、Storm进行学习
1.2、流式计算可以用来干什么
一淘-实时分析系统：实时分析用户的属性，并反馈给搜索引擎。最初，用户属性分析是通过每天在云梯上定时运行的MR job来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。
携程-网站性能监控：实时分析系统监控携程网的网站性能。利用HTML5提供的performance标准获得可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，通过历史数据对比等判断规则，触发预警事件。
一个游戏新版本上线，有一个实时分析系统，收集游戏中的数据，运营或者开发者可以在上线后几秒钟得到持续不断更新的游戏监控报告和分析结果，然后马上针对游戏的参数和平衡性进行调整。这样就能够大大缩短游戏迭代周期，加强游戏的生命力。
实时计算在腾讯的运用：精准推荐(广点通广告推荐、新闻推荐、视频推荐、游戏道具推荐);实时分析(微信运营数据门户、效果统计、订单画像分析);实时监控(实时监控平台、游戏内接口调用)
为了更加精准投放广告，阿里妈妈后台计算引擎需要维护每个用户的兴趣点(理想状态是，你对什么感兴趣，就向你投放哪类广告)。用户兴趣主要基于用户的历史行为、用户的实时查询、用户的实时点击、用户的地理信息而得，其中实时查询、实时点击等用户行为都是实时数据。考虑到系统的实时性，阿里妈妈使用Storm维护用户兴趣数据，并在此基础上进行受众定向的广告投放。
1.3、Storm核心技术点
基础技术点
linux环境准备、zookeeper集群搭建、Storm集群搭建、Storm配置文件配置项讲解、集群搭建常见问题解决。
Storm练习案例
根据蚂蚁金服提供的最新数据，今年双十一的交易峰值为8.59万笔/秒，是去年3.85万笔/秒的2.23倍。这一数据也超过了6万笔/秒的预估。如何实时的计算订单金额，让公司领导层看到呢?
(图为双十一支付宝成交金额)
Storm基础及原理
Storm常用组件和编程API：Topology、 Spout、Bolt、Storm分组策略(stream groupings)、Storm项目maven环境搭建、使用Strom开发一个WordCount例子、Storm程序本地模式debug、Storm消息可靠性及容错原理、Storm任务提交流程、Strom消息容错机制。
(图为storm组件)
1.4、Kafka核心技术点
Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API、Kafka负载均衡、Kafka消息存储原理等。
(图为Kafka消息队列原理)
2.流式计算案例实战
实战案例部分主要有三个企业实战案列，分别是基于点击流的日志分析系统、基于系统日志的监控告警系统、基于订单系统的交易风控系统，三个案列是企业中的典型项目。学完此阶段能够独立根据企业的业务性质开发相关的storm程序。
学完此阶段可掌握的核心能力：
1、掌握企业核心业务需求
2、掌握实时系统常见的开发流程及运营经验
学完此阶段可解决的现实问题：
可以独立开发storm程序来满足业务需求
学完此阶段可拥有的市场价值：
熟练学习和掌握后，可满足企业开发的初级需求，根据市场反馈数据看，薪资普遍在 元/月。
2.1、案例：流量日志分析
流量日志分析之漏斗模型：大型电商网站，上亿规模的用户，千万级别的活跃用户，如何评估一个商品专题页面的效果好不好呢?比如：浏览次数、加入购物车次数、下单次数、支付次数、完成。
(图为日志分析漏斗模型-数据部必备)
流量日志分析之基础数据分析：电商网上商品数量在千万级别，店铺数量在百万级别，如何实时的计算一个每个商品页的访问数、用户数、来源信息等基础信息呢?如何实时的计算每个店铺的访问数、用户数、来源信息等基础数据呢?
(图为页面浏览分析-数据部必备)
2.2、案例：统一监控告警系统
随着公司业务发展，支撑公司业务的各种系统越来越多，为了保证公司的业务正常发展，急需要对这些线上系统的运行进行监控，做到问题的及时发现和处理，最大程度减少对业务的影响。不同业务的会有几十上百台服务器去支撑，大型企业可能是成千上万台服务器，那么每台服务器的硬件状态、业务应用状态如何实时的监控，做到及时发现，快速解决问题呢?
(图为企业产生日志的系统清单)
统一监控系统触发的短信告警
统一监控系统触发的邮件告警
2.3、案例：交易风控系统
电子商务是以互联网络为平台的贸易新模式，它的一个最大特点是强调参加交易的各方和所合作的伙伴都要通过Internet密切结合起来，共同从事在网络环境下的商业电子化应用。用户信息容易受到计算机病毒、黑客的攻击，商业信息和数据易于搭截侦听、口令试探和窃取，为了防止用户信息异常给商家和用户带来不必要的损失，企业期望针对用户的订单进行分析，对触发规则的订单进行风险预警，在必要情况下进行拦截及锁定订单。
(图为订单异常拦截)
4.Spark内存计算阶段
学完此阶段可掌握的核心能力：
1.掌握Scala函数式编程特性，熟练使用Scala开发程序，可以看懂其他用Scala编写源码。
2.搭建Spark集群、使用Scala编写Spark计算程序，熟练掌握Spark原理，可以阅读Spark源码。
3.理解DataFrame和RDD之间的关系，熟练使用DataFrame的API，熟练使用Spark SQL处理结构化数据，通过Spark SQL对接各种数据源，并将处理后结果写回到存储介质中。
4.理解Spark Streaming的核心DStream，掌握DStream的编程API并编写实时计算程序。
学完此阶段可解决的现实问题：
熟练使用Scala快速开发Spark大数据应用，通过计算分析大量数据，挖掘出其中有价值的数据，为企业提供决策依据。
学完此阶段可拥有的市场价值：
学习完spark并掌握其内容，将具备中级大数据工程师能力，薪水可以达到 20K~25K。
1.Scala函数式编程
介绍：Scala是一门集面向对象和函数式编程与一身的编程语言，其强大的表达能力、优雅的API、高效的性能等优点受到越来越多程序员的青睐。Spark底层就是用Scala语言编写，如果想彻底掌握Spark，就必须学好Scala。
案例：Scala编程实战，基于Akka框架，编写一个简单的分布式RPC通信框架
2.使用Spark处理离线数据
介绍：Spark是基于内存计算的大数据并行计算框架，具有高容错性和高可伸缩性，可以在大量廉价硬件之上部署大规模集群，在同等条件下要比Hadoop快10到100倍。
3.使用Spark SQL处理结构化数据
介绍：Spark SQL的前身是Shark，专门用来处理结构化的数据，类似Hive，是将SQL转换成一系列RDD任务提交到Spark集群中运行，由于是在内存中完成计算，要比hive的性能高很多，并且简化了开发Spark程序的难度同时提高了开发效率。
4.使用Spark Streaming完成实时计算
介绍：Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。另外Spark Streaming也能和MLlib(机器学习)以及Graphx完美融合
5.Spark综合项目：
介绍：该项目使用了Spark SQL和Spark Streaming对游戏整个生命周期产生的数据进行了分析，从玩家第一次登录游戏到每天产生的游戏日志，通过大量的数据来分析该游戏的运营情况和玩家的各种行为：如活跃用户、用户留存、充值比例、游戏收人、外挂分析等。
通过玩家登录游戏产生的数据分析一天之内各个时间段进入游戏的情况
通过玩家登陆游戏产生的数据分析玩家在全国地区的分步情况，调整广告投放策略
用户留存指标可以分析游戏对玩家的吸引力，分析用户流失原因
用户等级信息可以分析玩家等等级分布情况、调整装备爆率和游戏难度
通过上面游戏各个数据指标的分析，可以让游戏运维者了解游戏的运维情况，为运维者提供各种个性化的调整策略，从而保证游戏健康、稳定的运营。
没有更多推荐了，
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！