hadoop 只能hadoop 统计词频 面试吗

来源：蜘蛛抓取(WebSpider) 时间：2018-03-23 13:57 标签： hadoop单词统计
Hadoop的改进实验（中文分词词频统计及英文词频统计）（3/4） - bitpeach - 博客园
格物无穷·菩提页中
　　1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。
&&&&2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《》
&&&&3）本文由于过长，无法一次性上传。其相邻相关的博文，可参见《》，以阅览其余三篇剩余内容文档。
（四）单机Hadoop伪分布的中文分词统计词频（续）
&&&&中文分词词频统计实验-Java程序
单机伪分布对中文分词并统计词频
1）实验准备
根据国内新闻时事，从新浪选择选择亚信峰会的领导人发言内容。保存在文本中， 并转换为UTF8文本。
使用IK分词jar包，为什么选择它？两个原因考虑：第一，其理解较为简单，故分词效果不是很好，但是适合初学者学习。第二，它提供开源的java接口，方便hadoop使用。
2）实验过程
&&&&如上图所示，将新闻样本放入分布式目录内，然后执行中文分词的IK包，在这里已经将词频统计和IK分词的功能做了合并打包，故直接调用合并的jar包即可，在这里文件名是chinesewordcount.jar。
&&&&通过指令执行后，得到结果。此部分不再赘述，对于执行指令的机械性而言，已经很是单调了，但是研究中文分词IK包很有意思。图片部分示意词频如下：
&&&&文字内容结果如下：
一体化&& 1
一己之私 5
一损俱损 3
一步一个脚印&&& 1
一荣俱荣 3
一部分&& 1
三分之一 1
不利于&& 1
不安全&& 2
不懈努力 1
不断扩大 3
世界上&& 1
世界各国 1
世界和平 2
世界经济 2
丝绸之路 2
中华人民共和国&&& 2
中华民族 2
中国人民 2
主席国&& 4
领导人（本词条为主席，被屏蔽） 30
互不干涉内政&&& 1
亚太地区 8
亚洲人&& 2
亚洲国家 3
亚洲金融危机&&& 1
人民网&& 1
以邻为壑 5
依然是&& 1
俄罗斯&& 3
倡导者&& 1
停留在&& 2
先生们&& 3
全世界&& 1
六方会谈 1
共同体&& 3
共同努力 2
共同发展 4
共同生活 1
共同进步 3
其他国家 1
其他地区 1
军事同盟 1
分裂主义 1
努力实现 3
区域合作 2
区域经济 1
千差万别 1
友好合作 1
取长补短 3
可持续发展&& 1
各国人民 2
和平共处五项原则 2
和睦相处 1
哈萨克斯坦&&& 4
国家和地区&&& 1
国家安全 3
国际关系 1
国际社会 1
国际组织 2
土耳其&& 4
坚定不移 1
坚持以&& 5
基本准则 2
基础上&& 1
基础设施 2
多样性&& 2
多种多样 1
多管齐下 1
大多数&& 1
大好局面 1
女士们&& 3
始终不渝 1
始终是&& 3
安全观&& 7
安全问题 6
安危与共 1
实践者&& 1
就不能&& 2
就应该&& 1
差异性&& 1
幸福生活 1
应该是&& 3
建设性&& 1
归根结底 3
彻底解决 1
恐怖主义 2
息息相关 1
成员国&& 1
承前启后 1
投资银行 2
持久和平 2
损人利己 5
文化传统 1
新亚洲&& 1
方兴未艾 1
旧时代&& 5
朋友们&& 5
本地区&& 2
来之不易 1
极端主义 1
正当权益 1
每一个&& 1
民族宗教 1
海洋权益 1
激化矛盾 5
热点问题 1
特别是&& 2
现实状况 1
相互交织 1
相互促进 5
相互信任 1
相威胁&& 5
相得益彰 5
社会制度 2
积极作用 3
积极参与 1
第三方&& 1
第四次&& 1
经得起&& 1
经济合作 1
经济带&& 1
经济总量 1
网络安全 1
自然灾害 1
致力于&& 2
观察员&& 1
说得好&& 1
贫富差距 1
越来越重要&&& 1
边界问题 1
迎难而上 1
进一步&& 1
通盘考虑 1
重要作用 8
金融危机 1
长治久安 4
阿富汗&& 1
非传统&& 2
领土完整 1
领导人&& 1
齐头并进 1
&&&&经过验证，上述新闻的报道词频均正确。
&&&&但IK分词包在超过几万字的小说进行分析时，却没有精确的数字。如分析明清传奇小说《红楼梦》，"贾宝玉"的次数明显没有达到十万次。作为配角出场的"刘姥姥"竟然比"黛玉"出现的频率还要高？显然是不对的。这是数据在撒谎，至于如何解决，本实验后续修正会继续进行。
&&&&说明IK分词的词数量范围不能达到万字的数量级，且说明IK分词包的效果并不是很好。
Liunx命令处理文本结果
Linux处理排序文本结果
&&&&1）sort指令和awk指令
&&&&sort指令和awk指令用于对中文词频高低进行排序。
&&&&指令格式可以如下：
&&&&#cat result.txt | sort &r -n &k 2,2
&&&&格式大概意思为：
&&&&竖立线左侧，为捕获待处理排序的文本。
&&&&竖立线右侧，为sort命令。
&&&&sort &r指降序排列。
&&&&sort -n指按数值型排序（有时10比2的小，因为字符型，可能1比2小，导致比较结果不符合个人需要。）
&&&&sort -k指对文本域操作，-k一般有域起点和域终点。咱们统计词频大概格式是"word numbers"，所以word是第一列，即第一域，numbers是第二域。
&&&&-k 2,2指对第2域开始，第2域结束。即对第2域处理。假设样本是英文的单词，如"Hello 5"，我们如果对第二个字母排序，则设置为-k 1.2,1.2即可。
2）grep指令
&&&&#grep -o 'keywords' [filename] | wc -l
&&&&grep指令寻找关键词在文本中，返回寻找的关键词的次数。
& &&&&&&&&&& 写在页面最底的小额打赏& &&&&&&&&&
如果读者亲愿意的话，可以小额打赏我，感谢您的打赏。您的打赏是我的动力，非常感激。
必读：如您愿意打赏，打赏方式任选其一，本页面右侧的公告栏有支付宝方式打赏，微信方式打赏。
避免因打赏产生法律问题，两种打赏方式的任一打赏金额上限均为5元，谢谢您的支持。
如有问题，请24小时内通知本人邮件。他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)共发布过20门课程
后邀请好友注册，您和好友将分别获赠3个实验豆！
0% Complete
加载中，精彩就在后面...
截取实验桌面
上传本地图片
因业务调整，日起购买的训练营课程服务标准将进行如下更新:
训练营课程不再提供24小时内的答疑服务和会员赠送，课程教师及助教将会不定期回复讨论区的提问。训练营课程价格也进行了相应调整。
注：日之前购买的训练营服务内容不受影响，仍然可以继续享有课程有效期内的答疑服务。具体服务内容以购买时页面显示服务内容为准。
好的，知道了
购买成功！课程上线时，您将收到邮件提醒
一个实验正在进行，是否停止它，开始新实验？
为了让评估结果更加准确，请注意以下操作：
完成实验后点击「停止实验」按钮
将代码提交到代码库
尽可能详尽的撰写实验报告
尽可能在实验操作的关键步骤截图
尽可能减少无用操作
尽可能高效的利用内存/CPU资源
评估课还在不断完善中，我们真挚希望你能通过我们提供的这个平台，找到更好的发展机会。
该实验默认环境
本课程是 Hadoop 的一个非常基础的应用项目，利用实验楼提供的 Hadoop 环境，对一本武侠小说的文集进行简单的 WordCount 词频统计，从而得到该书中出现频次最高的人名。需要一定的 Hadoop 和 MapReduce 基础。本课程难度为简单，属于入门级别课程，适合对 Hadoop 刚刚入门的用户，甚至没有接触过 Hadoop 的用户也可以按照步骤一步步做出来。
您有 -1 个实验豆，激活本课程需要消耗 2 个实验豆！
激活后可不限次数学习本课。
获取验证码
选择支付方式
下次自动登录
注册表示您已经同意我们的

我要回帖

更多关于 hadoop单词统计 的文章

 

随机推荐