电脑一联网就蓝屏为什么联网后会出现蓝屏

来源：蜘蛛抓取(WebSpider) 时间：2017-12-27 19:03 标签： 电脑一联网就蓝屏
Apache Spark是立足于内存计算的一种快速数据分析方案。其性能已经得到大家的认可，但我们该如何部署与实施Spark呢？本专题将为您介绍不同模式的Spark部署。
Spark是一个高效的分布式计算系统，发源于美国加州大学伯克利分校AMPLab的…信息化一方面加速了安全生产事故信息传播速度，导致安全生产的被关注度空前…随着大数据的发展，科技产业受到深刻影响，收集和解析数据的能力在近年来突…
Mesos计算框架一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和...
Spark是一个高效的分布式计算系统，发源于美国加州大学伯克利分校AMPLab的集群...
PM2.5肆虐着中华大地，令每个中国人呼吸困难。大数据的到来，让我们的环境治理...
金融大数据将给中国银行带来极大的转变。它将让银行从被动服务客户，转向更加主...wangxucumt 的BLOG
用户名：wangxucumt
文章数：16
访问量：36142
注册日期：
阅读量：5863
阅读量：12276
阅读量：418763
阅读量：1106792
51CTO推荐博文
&&&&最近想将spark升级到1.0，看了看官网的介绍，1.0的变动还是蛮大的，包括提交的方式，加入对kafka,flume等的支持。于是官网下载1.0的source自己用maven编译。&&&&首先需要升级下scala,0.9对应的是scala-2.9.x,1.0需要升级到scala-2.10.x。然后按照spark官网的提示首先设置maven的java虚拟机参数export&MAVEN_OPTS="-Xmx2g&-XX:MaxPermSize=512M&-XX:ReservedCodeCacheSize=512m"&&&&如果不设置的话，会在编译的时候出现outOfMemory。然后结合安装的hadoop版本使用maven进行编译。mvn&-Pyarn&-Dhadoop.version=2.3.0-cdh5.0.0&-DskipTests&clean&package& & 编译需要等的时间比较长，一般会比较顺利，maven会自动下载需要的jar。&&&&编译完成之后，做个简单的本地测试./bin/run-example SparkPi 10&&&&搞定之后，对spark on yarn进行测试。官网的文档和我实际下的spark的提交命令还是有些出入，最好在提交之前，先用&./bin/spark-submit --help命令看下参数，否则直接用官网给的参数会报错。&&&&我的提交命令是./bin/spark-submit&--class&org.apache.spark.examples.SparkPi&\
&&&&--master&yarn&\
&&&&--deploy-mode&cluster&\
&&&&--num-executors&3&\
&&&&--driver-memory&4g&\
&&&&--executor-memory&2g&\
&&&&--executor-cores&1&\
&&&&--queue&yarn&\
&&&&examples/target/spark-examples_2.10-1.0.0.jar&\
&&&&10& & 紧接着就直接抛出异常INFO service.AbstractService: Service org.apache.hadoop.yarn.client.api.impl.YarnClientImpl failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.reflect.InvocationTargetExceptionorg.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.reflect.InvocationTargetExceptionCaused by: java.lang.VerifyError: class org.apache.hadoop.yarn.proto.YarnServiceProtos$GetQueueInfoRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldS&&&&猜测可能是protobuf的jar有版本冲突，find / -name protobuf-java*.jar了下，果然发现spark编译用的是2.4.1版本，而hadoop用的则是2.5.0版本，这样在进行rpc通信的时候，会导致失败。于是将$SPARK_HOME下的pom.xml中的protobuf版本改为2.5.0,重新进行编译，测试后问题解决。&&&&但是spark1.0与protobuf2.5.0是否完全兼容，还要看后续更多的测试来验证。参考资料&&&&&&&&本文出自 “” 博客，请务必保留此出处
了这篇文章
类别：┆阅读(0)┆评论(0)你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
我部署了一个CDH5的集群，开启服务的时候选用了Spark内核，可是使用时候有点迷糊，查了多种Spark的运行模式，知道有YARN方式。集群mater节点已装JDK和Scala。
1. 是否还需在该CDH上部署Spark集群？
2. 如果不需要，那CDH中带的“Spark内核的Cluster”是干嘛的，提供什么服务吗？
如果使用yarn模式跑spark的话，spark master/worker这些不需要再部署。它们用于standalone模式。
要回复问题请先或
90后砖厂搬运工
关注: 2 人

我要回帖

更多关于 电脑一联网就蓝屏 的文章

 

随机推荐