missingmaster replicas光剑的值怎么来的

来源：蜘蛛抓取(WebSpider) 时间：2016-05-13 06:06 标签： kafka replicas
第129讲：Hadoop集群管理工具fsck实战详解学习笔记_飞天_新浪博客
第129讲：Hadoop集群管理工具fsck实战详解学习笔记
第129讲：Hadoop集群管理工具fsck实战详解学习笔记
是用检查hdfs具体文件、文件夹的健康状况的。
这个工具帮助我们检查hdfs中文件在datanode中缺失的块及过程或过少的replication复本的内容。
hadoop&fsck&PATH
会从给定路径循环遍历文件系统中的内容，但此时访问的是namenode，而不是datanode，对于检查过的文件都会打印点。
文件在namenode中是以块的形式存在的，所以获取的是namenode中具体block的元数据的信息，检查和实际集群的配置是否一致。
结果中的over-replicated&blocks:复本数超出了指定的复本数。
hdfs在系统运行时会自动删除多余的复本。
under-replicated&block：hdfs会自动为这些块创建新的复本。
mis-replicated&block:违反了block&replication旋转策略的块，如3个复本存在于一个机架上，就可以认定其错误，因为至少要分布在两个不同的机架。
corrupt&bolck：损坏的块指所有复本都已损坏。
Missing&replicas:&集群中没有任何复本的块。
corrupt&bolck和Missing&replicas是最需要关注的。这种情况下数据已丢失。默认情况下hdfs不会对这两种块进行任何操作。但我们可以执行一些操作如move，可以把受影响的文件移动到hdfs的根目录中的/lost+found中。
-delete&&删除
检查结果中每一个块占用一行信息。
以上内容是王家林老师DT大数据梦工厂《Hadoop深入浅出实战经典》第129讲的学习笔记。
王家林：Spark、Flink、Docker、Android技术中国区布道师。Spark亚太研究院院长和首席专家，DT大数据梦工厂创始人，Android软硬整合源码级专家，英语发音魔术师，健身狂热爱好者。
微信公众账号：DT_Spark
微信号：&&
新浪微博：ilovepains
王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！
可以通过王家林老师的微信号发红包捐助，目前已经发布的王家林免费视频全集如下：
1，《大数据不眠夜：Spark内核天机解密（共100讲）》：
/s/1eQsHZAq
2，《Hadoop深入浅出实战经典》
&/s/1mgpfRPu
3，《Spark纯实战公益大讲坛》&
/s/1jGpNGwu
&4，《Scala深入浅出实战经典》&
/s/1sjDWG25
&5，《Docker公益大讲坛》&
/s/1kTpL8UF
&6，《Spark亚太研究院Spark公益大讲堂》&
/s/1i30Ewsd
7，Spark实战高手之路全部六阶段视频：
/pack/view/id-144.html
8，《大数据Spark企业级实战》购买
第129讲视频网站地址：
/lesson/id-78238.html
博客等级：
博客积分：0
博客访问：78
关注人气：0
荣誉徽章：Hadoop4.3 源码笔记_小组_ThinkSAAS
Hadoop4.3 源码笔记
Hadoop4.3 源码笔记
1. 可以输入hadoop类, 查看它的UML关系图.
Hadoop Map-Reduce 2.0(Yarn)的架构文档,详细说明等.
LeaseManager--文件写入时中断, 各数据节点需要进行那些操作, 找到写入数据最少的节点, 提交到NameNode, 详细看类说明.
HDFS portion of ZK-based FailoverController 基于zookeeper的自切换Namenode的active与standy状态, https://issues.apache.org/jira/browse/HDFS-2185 有详细的设计文档.这里有一篇翻译文档, , 角色像下面:
个人理解: 整个流程就像控制多个坦克打仗,攻击一个目标有一辆坦克发炮就行, 如果接收指令的坦克没发炮, 那么就要由其它备用坦克来打,HealthMonitor就像是坦克操作员, 负责检查坦克是不是可以打炮, ActiveStandbyElector就像时刻将坦克现状发送给指挥系统, 接收系统指令, 把它转给指挥官ZKFailoverController(4.3版本为abstract类, 具体实现DFSZKFailoverController与MRZKFailoverController), 由指挥官来决定来发炮与否及将结果或等待状态由ActiveStandbyElector回馈给指挥系统.
INodeDirectory中children使用new ArrayList&INode&(5), 因为INode实现Comparable&byte[]&接口, compareTo(byte[] .)对比INode的name(getBytes("UTF8")), 向dir下加入增加文件时, 调用INodeDirectory.addChild()方法, 利用Collections中的static &T& int binarySearch(List&? extends Comparable&? super T&& list, T key) 查找要插入的下标, binarySearch的前提是list已经sort过.
推导:name名称不宜长, 目录下内容不宜多, 查找特定目录下耗时log(o).
疑问:INodeDirectory child为什么用List而不用Set呢?
Understanding Hadoop Clusters and the Network:
从将文件写入到hdfs开始, 准备写文件(存放数据应该考虑的拓扑结构(Rack Awareness), 写文件过程中, 写完后, Job 运行Map/Reduce, 因为新增服务器致使的数据不均衡及均衡工具.
Writing Files to HDFS, ,
Hadoop Rack Awareness, ,
Preparing HDFS Writes, ,
HDFS Write Pipeline, ,
HDFS Pipeline Write Success, ,
HDFS Multi-block Replication Pipeline, ,
NameNode Heartbeats, ,
Re-replicating Missing Replicas(有数据复本丢失时), ,
Client Read from HDFS, ,
Data Node reads from HDFS, ,
Map Task, ,
What if Map Task data isn’t local? ,
Reduce Task computes data received from Map Tasks, ,
Unbalanced Hadoop Cluster, ,
Hadoop Cluster Balancer, ,
PHP开发框架
开发工具/编程工具
服务器环境
ThinkSAAS商业授权：
ThinkSAAS为用户提供有偿个性定制开发服务
ThinkSAAS将为商业授权用户提供二次开发指导和技术支持
官方1群：【已满】
让ThinkSAAS更好，把建议拿来。

我要回帖

更多关于 kafka replicas 的文章

 

随机推荐