原文地址：/p/ 大数据包含大数据存储和大数据计算，其中大数据计算可大致分为计算逻辑相对简单的大数据统计，以及计算逻辑相对复杂的大数据预测。下面分别就以上三个领域简要分析一下：第一，大数据存储解决了大数据技术中的首要问题，即海量数据首先要能保存下来，才能有后续的处理。因此大数据存储的重要性是毫无疑问的。第二，大数据统计是对海量数据的分析统计和轻度挖掘，例如统计海量用户产品的日/月活跃度、用户基于地区的分布、用户历史操作、运营侧数据指标等，这些需要大数据计算平台的支持才能实现，对于拥有海量用户的互联网公司来说是不可或缺的技术。第三，大数据预测领域才是争议最多的领域。事实上，预测必有误差、必有小概率事件，大数据预测的背后是各种机器学习/模式识别等深度挖掘算法，这些算法只是工具而已，用得好不好、恰不恰当还是要看应用的领域和使用者本身的能力。此外，大数据预测想要做到精准，门槛非常高，所以有很多声称使用大数据预测的产品，实际效果往往不佳，给人们造成了大数据预测普遍不行的印象。由于门槛高，真正能掌握大数据预测能力，做到精准的，目前只有很少数产品。综上所述，大数据存储和大数据统计是海量用户产品不可或缺的技术，而对于大数据预测技术，小概率事件必然出现，且并不是每个人都能运用得好。所以不能笼统地说大数据没有用处，要看具体领域，以及产品背后的团队。大数据经过最近几年的发展，它的基础设施——各个大数据存储和计算平台已经比较成熟，业界主流的大数据平台在后台的层次角色一般如下图所示：在物理层上，根据不同的使用场景以及成本预算的考虑，会采用不同的硬件配置方案。对于自身容错备份机制较好的大存储系统，只需使用SATA硬盘即可；若所承载的平台自身容灾机制较弱甚至是无，且数据比较重要，则可以使用RAID或者SAS硬盘。对于大部分存储和计算平台来说，网络一般不是最大的瓶颈，所以使用千兆网卡和交换机即可；对于内部网络吞吐量非常大，内部网络IO已经成为瓶颈，并且时效性要求非常高的核心业务，可以使用万兆网卡和交换机提高性能。在计算性能上，近年来逐步兴起与成熟的语音识别技术和深度学习技术，由于计算量异常巨大，需要依靠GPU加速或者是重核卡的加速才能在可容忍的时间内完成计算，业界不少的专用集群都配备了GPU或是重核卡。随着SSD的成本不断下降，它成为对硬盘IO性能有高要求的应用非常有吸引力的选择。此外，为了保证服务的高可用性，防止机架、机房甚至是城市的网络、电源故障等突发灾情，重要的业务需要进行多机房、多城市的容灾部署。在软件层面上，第一层首先是云存储层。按时效性划分，各个大数据存储平台一般分为离线存储和在线存储两种类型。离线存储用来对超大规模数据（一般PB以上）进行持久性存储，适用于数据访问响应时间要求低（秒级以上）的场景。在主流平台里最典型的就是hadoop的HDFS。在线存储用来对海量数据进行实时的访问，适用于在线服务场景或者是对数据访问响应时间有高要求的计算任务提供支持的场景。在线存储不一定需要对数据进行持久化，同时它既可以是原始数据，也可以只是缓存的数据。在主流的平台里，Memcached是一个分布式内存缓存系统，不提供持久化。Redis与Memcached类似，但是它提供了持久化能力及主从同步能力，所支持的数据类型和操作更加丰富。以上两者是典型的缓存系统，在中等数据规模下表现较好，对于更大数据规模就会比较吃力，这时就需要使用HBase或者Cassandra等支持实时场景的大容量存储系统。同时，由于HBase和Cassandra支持超大规模数据的持久化存储，它们也可以用在离线存储领域。大数据的计算层平台，按照时效性划分，也分为离线计算和在线计算（或叫实时计算）两种类型，而各个计算间的数据传递工作一部分由存储系统完成，另一部分由数据管道系统（如消息队列系统等）完成。离线计算平台通常用来处理数据量巨大，耗时长的计算任务，适用于对大量数据的统计分析和深度挖掘。典型的离线计算平台有：作为通用并行计算模型的hadoop MapReduce、Spark；高性能并行计算的MPI；数据仓库式计算的Hive、Impala、Shark；图模型计算的Pregel、Bagel、GraphX等。在线计算/实时计算平台通常用来处理流式数据，适用于计算量一般较轻，且时效性需求高或永不间断的计算场景。常见的实时计算平台有：Storm、S4、Spark Streaming等。消息队列平台一般用于上下游计算的数据衔接，特别是时效性要求较高的计算流程，每个计算步骤的输出结果写入消息队列平台后，下游计算可立即感知并启动计算，缩短反应时间。业界用得较多的平台包括轻量级的Kestrel，以及重量级、容错性好的Kafka。业务逻辑层承载着各个业务具体的计算逻辑，一般来说有日志处理、离线分析、深度挖掘、分类聚类、预测建模等离线业务，也有实时挖掘、实时监控等实时处理业务。最外的服务层就是直接对外提供服务的各个业务的线上服务器集群。位于后台的各个大数据平台，为了容灾、资源复用、例行维护的考虑，其服务访问入口可能会发生变化，因此往往需要一个资源定位系统来获取各个平台当前最新的服务访问入口。通过资源定位系统提供的自动定位服务能力，各个平台服务接口的迁移就可以对使用者透明。在大数据各平台的整体层次结构中，最不可或缺的配套系统就是自动监控运维系统。海量数据的处理，对存储和计算的压力都是非常巨大的，所以各个平台出现硬件异常和软件异常的概率急速上升，因此需要一套自动监控运维系统来不断监控各个服务器的硬件状况，操作系统层面的CPU、内存、IO、网络等各个指标，大数据平台层面的运作情况，业务逻辑层面的服务状态等。另外一方面，虽然各个大数据平台都具有一定的容错能力，但是并不是所有类型的错误都能够容忍，并且当出现了可容忍的小错误时，往往预示着更致命的错误隐藏在背后，若不及时发现，就很可能导致非常严重的后果。因此需要监控运维系统将这些小问题提前预警出来，以便将事故扼杀在萌芽中。自动监控运维系统一般具有系统状态检测、性能分析、监控报警、自动发布与回滚等能力。尤其是自动发布与回滚能力，对于海量用户的业务来说，是必不可少的，可以大大减轻运维的工作量，消除容易出错的人工环节，增加业务的稳定性。前面给出了各个大数据系统在后台的层次结构，接下来介绍一下业务数据在各个平台之间的流向关系。如上图所示，数据的来源一般有三种：第一种是线上的实时日志流；第二种是定期批量收集和更新的数据；第三种是长期不变的静态数据。前两种数据通常发布到订阅发布系统当中，以通知下游消费者进行消费。静态数据一般直接保存在离线存储系统中，供需要时访问。发布订阅系统负责管理数据的发布和收集下游的订阅需求，将数据分发给对应的消费者，一部分数据会发送到在线计算平台，另一部分数据会落入离线存储平台。发布订阅系统可分为持久式和非持久式，可根据业务的特性选用。对于在线处理部分，在线计算平台所需的数据一部分来自从发布订阅系统中获取实时数据，另一部分来自在线存储系统。在线计算平台常见的计算类型有在线服务、流式计算、实时回馈等，分别服务于数据抓取、实时统计、实时监控、在线分析、实时推荐等应用。在线存储平台中的数据一般分为临时缓存数据和持久化数据，这些数据通常来自在线计算平台和离线计算平台。在线存储平台承载的应用有：KV缓存、数据库缓存、流式数据、字典服务等。对于离线处理部分，离线存储平台负责对文件、对象、结构化数据的存储，服务于日志、网页、关系链、多媒体、字典、数据库等应用，它的数据来源非常丰富。而离线计算平台的数据一般来自离线存储和在线存储，计算结果往往也写回离线和在线存储平台。离线计算平台上的计算分为IO密集型、计算密集型、迭代型、类SQL型等类型，分别对搜索排序、广告算法、个性化推荐、安全检测等应用提供支持。这里不得不提的是用在离线处理中的任务依赖控制系统。在线处理的各系统由于基本上是数据流驱动或者是事件驱动的，所以不需要显式地设置各个任务的上下游依赖关系，数据和事件的流式传播即触发了对应的计算。而对于离线处理，各个任务都是批量处理的方式，因此需要等上游完成批量处理，下游才能开始接着处理。现实中往往采用定时器+预估完成时间的方式来粗略地隐式地配置任务依赖，这样带来的问题是：预估时间不准确，造成时间的浪费或是无效的计算；上游的延迟会引起下游的连锁反应，不具有弹性的容忍机制；随着任务增多，依赖关系配置和执行时间的预估变得越发复杂和不可控，而且任务迁移时很容易发生任务丢失和依赖失效的问题。任务依赖控制系统正是为了解决这些问题而诞生的，它把所有任务的依赖拓扑关系放到全局统一的视图中，将这些任务集中起来管理，可视化地配置它们的依赖关系，任务的迁移变得简单可靠。同时，它负责监控每个任务的完成情况，如果成功完成，则马上触发下游的任务；如果失败，则进行重试，直到执行成功才触发下游任务，或者超过重试次数阈值后进行告警。这种自动化的依赖触发方式，缩短了整体业务耗时，并具有弹性容忍延时能力。对于大数据处理来说，数据是素材，平台是工具。工欲善其事，必先利其器。大数据各个层次的平台已经日臻成熟，我们对其原理与架构也清晰明了。而海量数据中蕴含的巨大价值能否被有效挖掘，就看使用者们的功力了。转自微信公众号 腾讯大数据源码堂(gh_9ad)　
　文章为作者独立观点，不代表大不六文章网立场
的最新文章
原文地址：http://www.nosqlnotes.net/archives/333 持续可用本文主要针对原文地址：q.com/cn/news/2015/04/micro-servic原文地址：http://www.innomysql.net/article/15612.html 前言上周参原文地址：//mobile-size/最近一直在研原文地址：/p/ 上一篇文章我们原文地址：http://www.nosqlnotes.net/archives/333 持续可用本文主要针对原文地址：/miniflycn/qvd/issues/1 作为React原文地址：/serialization_vs_deserial原文地址：/guagua/并发语言俨然是应原文地址：/hustskyking/p/Thinking-in-项目地址：/richtr/NoSleep.js 看源码：原文地址：q.com/cn/news/2015/04/async-distri原文地址：/allwefantasy/my-life/blob/mast原文地址：/a/0622NB原文地址：/p/ 做故障管理这么项目地址：/ghosert/note/90884 我是 作业部项目地址：/yahoo/squidb Yahoo 开源的SQLite 数原文地址：http://blog.csdn.net/rchm8519/article/details/453项目地址：/JayFang1993/DropDownMenu 效果：gi原文地址：https://developer.mozilla.org/en-US/docs/Web/API/原文地址：/xinz/p/4470424.html图片较大原文地址：/p/ 17.4 萝卜原文地址：http://arccode.net//%E5%89%8D%E5%90%8E%原文地址：/hustskyking/p/fe-project.h原文地址：/cache-algorithm 引言我们都听过 c这里贴出了第一篇通过零拷贝实现有效数据传输 /developerwor原文地址：/articles/kafkaio.htm项目地址：/Bilibili/DanmakuFlameMaster Da原文地址：/tangyanbo/p/4462734.html 参原文地址：/allwefantasy/my-life/blob/mast原文地址：/allwefantasy/my-life/blob/mast原文地址：q.com/cn/articles/jingdong-private原文地址：/allwefantasy/my-life/blob/mast原文地址：http://www.nosqlnotes.net/archives/333 持续可用本文主要针对原文地址：/p/ 什么是优秀的互原文地址：q.com/cn/news/2015/04/micro-servic原文地址：http://www.innomysql.net/article/15612.html 前言上周参原文地址：//mobile-size/最近一直在研原文地址：/p/ 上一篇文章我们原文地址：/miniflycn/qvd/issues/1 作为React原文地址：/serialization_vs_deserial原文地址：/guagua/并发语言俨然是应原文地址：/hustskyking/p/Thinking-in-原文地址：/tmallfe/tmallfe.github.io/issu项目地址：/richtr/NoSleep.js 看源码：UIView-FDCollapsibleConstraints最优雅的方式解决自动布局中子View的动态显示原文地址：q.com/cn/news/2015/04/async-distri原文地址：/p/ 做故障管理这么原文地址：q.com/cn/articles/how-ctrip-improv项目地址：/ghosert/note/90884 我是 作业部gh_9ad技术跟进，好文推荐，源码分析热门文章最新文章gh_9ad技术跟进，好文推荐，源码分析【腾讯大粤网：广东到2015年普及15年教育】_中华城市吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：773,477贴子：
【腾讯大粤网：广东到2015年普及15年教育】收藏
广东到2015年普及15年教育 遏制择校倾向记者田霜月 实习生刘文慧未来五年，全省要普及学前到高中的15年教育，要逐步放宽非户籍常住人口子女在流入地升学限制，要提高优质普通高中招生名额合理分配到区域内初中学校的比例，遏制义务教育择校倾向……近日，省政府印发了广东省教育发展“十二五”规划，其中透露了一系列事关民生的教育热点。小区幼儿园办成普惠性在规划未来五年的目标时，“普及学前教育”被放到了第一位。到2015年，全省各县(市、区)普及学前到高中阶段15年教育。到2015年，全省在园幼儿达到290万人，学前教育毛入园率达到90%，其中珠江三角洲发达地区达到95%。基本形成政府主导、社会参与、公办民办共同发展、办学条件规范、办园形式多样、结构布局合理、管理体制完善、师资队伍优良的学前教育体系。根据规划，未来五年将扩大普惠性学前教育资源，坚持学前教育的公益性，逐步把学前教育纳入基本公共服务范畴，建立政府主导、社会参与、公办与民办并举的办园体制。在农村，是利用中小学布局调整的富余校舍和教师资源举办幼儿园；在城市，则是把小区配套幼儿园办成普惠性幼儿园。初升高不再“一考定终身”对于义务教育，规划的目标是，到2015年，力争全省实现义务教育阶段适龄儿童少年入学机会均等，非户籍常住人口子女和适龄残疾儿童少年同步平等接受义务教育，九年义务教育巩固率达到93%；各县(市、区)全面普及高中阶段教育，全省高中阶段毛入学率达到90%以上。规划要求打破“一考定终身”的初中毕业生升学考试制度，改一次性考试为多次进行的学业水平考试，允许学生选择自己满意的成绩作为升学录取的依据，满足不同潜质学生的发展需要。改革高中阶段学校考试招生制度，不断提高优质普通高中招生名额合理分配到区域内初中学校的比例，遏制义务教育择校倾向。外来人口享同等待遇广东是外来人口大省，对于这个特殊的群体，规划也有重点关注，其中提出，要逐步放宽非户籍常住人口子女在流入地升学限制，实现符合条件的非户籍常住人口子女接受义务教育与当地户籍学生享有同等待遇。具体措施是坚持“两个为主”(以流入地政府管理为主，以公办学校为主)和“一市一策”原则，推行非户籍常住人口子女义务教育积分制管理办法。在不断增加公办学位的基础上，政府向符合条件的民办学校购买学位，加大扶持和管理力度。同时建立各级财政合理分担的非户籍常住人口子女义务教育经费投入保障机制。●切实减轻学生课业负担。鼓励有条件的地区积极开展小班化教学。●逐步实施农村义务教育学生营养计划，在寄宿制学校建设标准化食堂，定期监测学生营养和健康状况，完善学生生活费补助政策。●高等学校新增两院院士5名左右，新增珠江学者特聘教授60名左右、长江学者特聘教授30名左右。●到2015年，各级各类高等教育在学总规模达到286万人，高等教育毛入学率达到3 6 %。
城市庭园房价,实景图片,城市庭园,&中原地产&全方位详细解读!
转播到腾讯微博“15年义务教育”的消息引发不少学生及家长的关注。（资料图片）
近年来，不少地方都试水延长义务教育时间，但将义务教育的年限范畴一步到位提出延长至15年尚属罕见。《草案》的亮点还在于，深圳将逐步扩大义务教育范围，对缴纳社会保险达到一定年限的非户籍常住人口子女探索实施免费义务教育。“15年义务教育这个问题，要与政府好好沟通，看看政府是什么意见。如果说政府觉得这个意见很好，也可以吸收，甚至可以采纳。”分组讨论一开始，刘玉PU便“点题”。他还指出，对于“纳税到一定程度之后子女享受免费义务教育”这一条“很多老百姓都说，不要限定人家交税交多少。”他建议委员们对可行性进行探讨。免费教育≠义务教育金依俚指出，“‘探索学前教育和普通高中教育纳入义务教育’存在概念性错误。”金依俚表示，“学前教育”可以前移，一般发达国家都是逐渐由政府来提供公共服务纳入义务，深圳完全可以这么做。但“义务教育”具有强制性，高中教育阶段可提“逐渐普及高中教育”，但是不能提“纳入义务教育”。她说，高中阶段的孩子一般为16岁-18岁，一旦成人，是否读书可以自己决定，不能再进行强制规定。“‘义务教育’和‘免费教育’是两个概念，我们可以试着实行高中教育免费。”
说说而已吧还真的不知道到时候是不是真的能
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或商城名称评论
本类热藏商城