contagion 出现c++的出现这个情况怎么办办

《霸魂》游戏建筑详解 详解怎么玩
《霸魂》的城池养成界面分为7大建筑物,下面就让我们了解一下他们的作用。1. 官邸官邸是城池强大程度的总体标志,一般来说它的等级限制了很多其它建筑的等级上限,和人物等级,是最为玩家所重视的建筑物,玩家在官邸中可以进行【征税】来获得【银币】资源。在声望界面玩家可以看到各势力声望数量,且达到一定数量可以兑换相应装备。官职系统可提升官职等级,且可以领取官职奖励和通过荣誉兑换PVP装备。2. 国库国库会增加每日领取【银币】资源的上限,等级越高,领取的就越多。3. 市场玩家在市场中可以购买【粮食】资源,食品会为角色恢复战后所损失的生命值。市场的等级越高,食品库存总量就越大。并且每升级一次,会刷新食品和银币兑换的交易量,当交易量达到上限时,不可以进行其的相互兑换,每日凌晨,会刷新一次交易量。4. 祭坛祭坛用于将【粮食】资源转化为【魔法】资源,魔法资源会自动为战后的角色恢复满魔法值,该建筑等级越高,魔法库存总量就会越大。5. 商店玩家可以在商店中购买装备,商店的装备可购买等级时根据商店等级的多少开启的,商店第二个作用是可以提升装备升级的上限次数。6. 学院学院中有技能、天赋、专精等技能供玩家修炼和学习。同时学院等级同样控制和专精技能的开启。7. 竞技场竞技场中玩家可以用【能量】来提升英雄的等级,并可以参加1v1的PK比赛。
原标题:《霸魂》游戏建筑详解 详解怎么玩
Game234游戏门户网声明:Game234游戏门户网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。部分图片及内容来自互联网,版权归原作者(原网站)所有,转载时请务必注明来源,若有侵权问题请及时与本站联系 。
相关资讯:
  约战精灵再临八舞夕弦怎么样,游戏中非常不错的一个精灵,那么到底技能如何呢?下面就跟随我们一起来看一下吧。八舞夕弦技能介绍  普攻:【束缚者】使用束缚者攻击前方敌...
堡垒之夜中近战僵尸要怎么打,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜中近战僵尸的打法技巧分享,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。普...
灵魂筹码中的人类技能哪些比较厉害,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了灵魂筹码人类技能推荐,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。目前人类...
堡垒之夜pve雷达塔要怎么建造,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜雷达塔搭建介绍,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。很多玩...
堡垒之夜中的废弃仓库出来后要怎么走,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜废弃仓库行进路线推荐,想了解的小伙伴就一起来看看吧,希望能对你们有帮助...
堡垒之夜中的仓库落哪里好,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜中仓库落点一览,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。落点1地图右...
暗影狂奔归来落魄潦倒怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来落魄潦倒过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。落魄潦...
暗影狂奔归来死亡发讯怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来死亡发讯过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。死亡发...
宝可梦探险寻宝中精灵怎么搭配,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了宝可梦探险寻宝中精灵搭配及技能推荐,想了解的小伙伴就一起来看看吧,希望能对你们有帮助...
宝可梦探险寻宝这个游戏怎么样,好玩吗,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了宝可梦探险寻宝怎么样,好玩吗,很多小伙伴就一起来看看吧,希望能对你们有帮助。...
宝可梦探险寻宝中的大岩蛇吃什么才会必出,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了宝可梦探险寻宝大岩蛇必出料理一览,想了解的小伙伴就一起来看看吧,希望能对你...
堡垒之夜NSGuest账号要怎么更换,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜NSGuest账号要怎么更换,想了解的小伙伴就一起来看看吧,希望...
暗影狂奔归来雷德蒙贫瘠之地怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来雷德蒙贫瘠之地过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有...
暗影狂奔归来女工联合会怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来女工联合会过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。女...
暗影狂奔归来PIKE地区市场怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来PIKE地区市场过关攻略,想了解的小伙伴就一起来看看吧,希望能对你...
暗影狂奔归来皇家公寓怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来皇家公寓过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。皇家公...
暗影狂奔归来顶楼套房怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来顶楼套房过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。顶楼套...
暗影狂奔归来回到联合会怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来回到联合会过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。回...
今天Game234和大家讲解《天书世界》十二生肖玩法解析说明最近在《天书世界》中,开放了一个新的玩法,那就是家族系统中的十二生肖系统,不过很多玩家发现,由于...
今天Game234和大家讲解坦克射击PanzerIV起始属性介绍怎么解锁说明坦克射击PanzerIV起始属性介绍怎么解锁...
7 03到现在刚刚更新一天,相信不少水友们已经在鱼塘里牛刀小试了,对于新版本的改动,大家怎么看呢?下面就和小编一起来看看zhou神是怎么理解的吧。
在今天的比赛中,Rookie带病上场,带领iG成功翻盘,在第二局比赛中,他用劫拿下了10 1 8的完美数据。这是他本赛季第7次击杀上双(超过10),这一数据遥遥领先LPL其他选手。排名第二的是Condi、GimGoon、Scout,各有两次击杀上双。
北京时间3月18日,LPL2017春季赛第6周第三天的比赛日。这一天将会有三场对决在正大广场上上演,而在第三场EDG对SS的比赛中,厂长或将重回LPL舞台。怪盗瓦里奥——七变身 详解怎么玩
怪盗瓦里奥终于归来!本作的特点就是变身,玩家可以利用触控笔使瓦里奥变成各种各样的变身状态,而变身最多可以有7种状态,这也不难理解本作的名字为什么叫“THE SEVEN”了。变身后的瓦里奥,将会获得可以发射电子光束,可以在水中游泳等能力,利用这些能力解开迷题,向宝藏出发吧!
------------
------------
游戏名称: 怪盗瓦里奥 THE SEVEN
游戏原名: 怪盗ワリオ ザ·セブン
游戏类型: ACT
制作厂商: 任天堂
游戏人数: 1~2人
游戏价格: 4800
发售日期: 日
官方网站: 进入
下载地址: 进入
------------
------------
原标题:怪盗瓦里奥——七变身 详解怎么玩
Game234游戏门户网声明:Game234游戏门户网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。部分图片及内容来自互联网,版权归原作者(原网站)所有,转载时请务必注明来源,若有侵权问题请及时与本站联系 。
相关资讯:
  约战精灵再临八舞夕弦怎么样,游戏中非常不错的一个精灵,那么到底技能如何呢?下面就跟随我们一起来看一下吧。八舞夕弦技能介绍  普攻:【束缚者】使用束缚者攻击前方敌...
堡垒之夜中近战僵尸要怎么打,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜中近战僵尸的打法技巧分享,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。普...
灵魂筹码中的人类技能哪些比较厉害,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了灵魂筹码人类技能推荐,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。目前人类...
堡垒之夜pve雷达塔要怎么建造,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜雷达塔搭建介绍,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。很多玩...
堡垒之夜中的废弃仓库出来后要怎么走,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜废弃仓库行进路线推荐,想了解的小伙伴就一起来看看吧,希望能对你们有帮助...
堡垒之夜中的仓库落哪里好,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜中仓库落点一览,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。落点1地图右...
暗影狂奔归来落魄潦倒怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来落魄潦倒过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。落魄潦...
暗影狂奔归来死亡发讯怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来死亡发讯过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。死亡发...
宝可梦探险寻宝中精灵怎么搭配,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了宝可梦探险寻宝中精灵搭配及技能推荐,想了解的小伙伴就一起来看看吧,希望能对你们有帮助...
宝可梦探险寻宝这个游戏怎么样,好玩吗,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了宝可梦探险寻宝怎么样,好玩吗,很多小伙伴就一起来看看吧,希望能对你们有帮助。...
宝可梦探险寻宝中的大岩蛇吃什么才会必出,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了宝可梦探险寻宝大岩蛇必出料理一览,想了解的小伙伴就一起来看看吧,希望能对你...
堡垒之夜NSGuest账号要怎么更换,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了堡垒之夜NSGuest账号要怎么更换,想了解的小伙伴就一起来看看吧,希望...
暗影狂奔归来雷德蒙贫瘠之地怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来雷德蒙贫瘠之地过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有...
暗影狂奔归来女工联合会怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来女工联合会过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。女...
暗影狂奔归来PIKE地区市场怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来PIKE地区市场过关攻略,想了解的小伙伴就一起来看看吧,希望能对你...
暗影狂奔归来皇家公寓怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来皇家公寓过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。皇家公...
暗影狂奔归来顶楼套房怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来顶楼套房过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。顶楼套...
暗影狂奔归来回到联合会怎么过,很多小伙伴可能都不太了解,下面牛游戏小编就为你们带来了暗影狂奔归来回到联合会过关攻略,想了解的小伙伴就一起来看看吧,希望能对你们有帮助。回...
今天Game234和大家讲解《天书世界》十二生肖玩法解析说明最近在《天书世界》中,开放了一个新的玩法,那就是家族系统中的十二生肖系统,不过很多玩家发现,由于...
今天Game234和大家讲解坦克射击PanzerIV起始属性介绍怎么解锁说明坦克射击PanzerIV起始属性介绍怎么解锁...
7 03到现在刚刚更新一天,相信不少水友们已经在鱼塘里牛刀小试了,对于新版本的改动,大家怎么看呢?下面就和小编一起来看看zhou神是怎么理解的吧。
在今天的比赛中,Rookie带病上场,带领iG成功翻盘,在第二局比赛中,他用劫拿下了10 1 8的完美数据。这是他本赛季第7次击杀上双(超过10),这一数据遥遥领先LPL其他选手。排名第二的是Condi、GimGoon、Scout,各有两次击杀上双。
北京时间3月18日,LPL2017春季赛第6周第三天的比赛日。这一天将会有三场对决在正大广场上上演,而在第三场EDG对SS的比赛中,厂长或将重回LPL舞台。20个好玩有趣的游戏化网页设计_宁波达内UI培训
20个好玩有趣的游戏化网页设计
时间: 17:27
来源:优设网
& 游戏化的网页设计通常都能令人高兴和愉悦,即使是最简单、最单调的小游戏。
& 宁波达内UI设计培训专家介绍20个充满活力、玩转交互的游戏化的网页设计案例,各有特色,相信会给你一些启发。
& 这个网站是为一个美国科幻剧所创建的,当你打开网页的时候,会被其中的地图和剧情所吸引,在不断完成任务的过程中解锁成就,了解故事走向,直到欲罢不能。
The Most Decisive Game
& 一天完成一项任务对于绝大多数用户而言并不容易,不过游戏本身挺好玩就是了。拿起你的手机或者平板,开启竖屏模式能够更好的感受这个像素风的游戏。
Futurama: Game of Drones
& 虽然游戏并没有集成到这个网页当中,但是游戏化的设计思路被融入到了其中。网页基于动漫《飞出个未来》来设计,布局采用的是动漫式的结构,大量的GIF和视频元素被融入其中,明亮、鲜艳又充满吸引力。
Game of Scroll
& 汽车工业和游戏产业一样,通常都是最能体现现代流行趋势的。而雪铁龙的这个页面则融合了两个产业的特点,这个游戏的玩法则是滚动页面,简单,但是非常有效的宣传了雪铁龙的这个广告活动。
The Avenging Llama
& The Avenging Llama 这个网页将吐痰这个事情变成一个有趣的游戏。你需要通过电子邮件分五个步骤来完成一个好玩儿的恶作剧。
& Moratoria 是一个涉及到复杂技术的先进的概念,它可以将你的Twitter 帐号完全可视化,所有的推特、链接和内容都将融入到无尽的动态抽象景观中来。
Trump Donald
& 这个项目看起来简单,但是非常有趣,相当吸引人。即使你对美国政治了解不多,目前总统大选热门川普想必你也多少听说过吧?这个网站就是与此相关。你可以在这个网站找到有趣的内容并截图,分享给你的朋友。
Celebrity Betmatch
& 这个网站为用户提供了独特的在线交互体验,你可以在这里体会到非洲的迷人光景。
FarCry Primal
& FarCry Primal 是一个梦幻般的宣传网站,网站通过精致的场景将游戏的氛围营造了出来,每一个细节都清晰地展现出属于石器时代的独特风貌。
Get Vive Ready
& 这个浏览器小游戏是用来测试你的HTC Vive VR的,游戏中的邪恶Boss正威胁着整个世界的安全,需要你去打败他。
& Collapse 是一个被精心设计的游戏,其中包含了宏伟的故事剧情,模拟了整个城镇社会的走向,其中的数据则是源自于真实。如果你持续玩儿下去,或许能得到某些启示。
& TravelZoo 为你提供了一个有趣的测试,测试内容是关于英国文学,借此将你拉入这个国家宏伟的文学地图。你只有30秒来完成这个任务。
& Mira 以一种更加娱乐的方式为你展示了Hydra framewrk的性能。设计师通过Mira 这个网站给用户带来了绝佳的冥想般的体验。用户可以借助屏幕上闪动的颗粒来营造出迷幻的声响,相当有趣。
Defi Ingenieurs
& 考虑到有法国国营铁路公司在这个网站背后做支撑,浏览网站过程中之所以能看到的这么多奇妙景象就好解释了。看起来简约的场景,也许需要时间来习惯,却是如此的令人着迷。
Cash Contagion
& Cash Contagion 的内容其实是来自 Tom Clancy 的一个故事,而故事剧情则是源自于一个假设:钞票能够传递病毒。
SyFy: The Magicians
& 这是这个网站新推出的“魔术师”系列,其中包含了大量可交互的细节和有趣的视频与图像,这一切都被一个故事剧情串了起来。
D’Addario Nickel Bronze Strings: Hear the Difference
& 这并非是一个游戏,但是比游戏更加有趣。网站通过引人入胜的视频为你对比和比较铜弦和镍铜弦的特性和差别。
Hunt or Be Hunted
& 这是游戏的官方网站,通过短促有力的动画电影展现了游戏的丰富质感,而网站本身的气场和细节也相当的到位。
Eyezen Challenge
& 网站的名字就已经相当能够体现设计者的想法了。开发人员旨在创造一种身临其境的体验,打开网站之后,你需要用你的眼睛来完成挑战。
& Occupied 是一个有趣的在线游戏,你需要在挪威的史诗剧中挑选一个阵营,然后战胜你的对手。
原文来源:http://www.uisdc.com/gamification-website-design-examples
原文地址:Designmodo
原文作者:Nataly Birch
优设译文:@陈子木
达内Android高级工程师课程根植于9万家企业招聘需求,结合最新技术
795万高校毕业生创历史新高,2017届毕业生就业近况几何?
达内Linux学员毕业2周就业率96%,最高薪资10000元
达内教育总裁韩少云受邀出席GIE国际教育峰会做主题演讲
Copyright (C)
Tedu.cn All Rights Reserved 京ICP备号-56 达内时代科技集团有限公司 版权所有
选择城市和中心
达内北京亦庄大学生实训基地
达内北京网络营销中心
达内北京会计中心信息平台和数据科学家的兴起
我的图书馆
信息平台和数据科学家的兴起
作者: chenqiuge 分类: &&阅读:1,122 次
文 / Jeff Hammerbacher
Facebook有了“自知之明”
在2005年9月,Facebook首次向非大学生公开,允许高中生注册账号。忠实的用户愤怒了,但Facebook团队认为这是为网站做出的正常方向。那么它该如何证明它的方案是正确的呢?
此外,在几乎所有可登录Facebook网站的学校中,Facebook已经渗入学生当中,但还是在有部分学校中,该网站一直不受青睐。和那些更成功的网络相比,这些落后的网络对于Facebook有什么区别呢?Facebook团队应该如何做才能激励他们的成功?
当我在2006年2月参加Facebook面试时,他们正积极地期望找到这些问题的答案。我曾在大学学习数学,在华尔街工作近一年,工作内容是构建模型来预测利率、价格复杂的衍生产品和对冲抵押贷款池;有一定编程经验,GPA成绩“暗淡”。虽然我的背景可能不太理想,但是Facebook却给了我研究科学家的职位。
几乎同时,Facebook聘用了一位报告分析主管。该主管在解决问题方面的经验远远超过我。我们和另外一位工程师一起,开始着手构建一个数据收集和存储平台,以便找到我们产品以上问题的答案。
我们第一个尝试是构建一个离线信息库,其涉及两个方面:一是用Python脚本把查询分发到Facebook的MySQL服务器层,二是采用C++实现守护进程,实时地处理事件日志。当脚本可以如期运行,我们每天收集大约10GB的数据。我后来明白系统的这部分通常称为“ETL”过程,即抽取、转换和加载。
Python脚本和C++守护进程从Facebook的数据源系统中抽取数据,然后这些数据又被加载到MySQL数据库用于离线查询。我们在包含这些数据的MySQL上又运行了一些脚本和查询,对数据进行聚集,以便得到更有用的表现方式。这种用于决策支持的离线数据库即“数据仓库”。
最后,通过简单的PHP脚本把数据从离线的MySQL数据库抽取出来,向内部用户展示收集到的信息摘要(Summary)。这是我们第一次可以回答网站特性对用户行为的影响。早期通过以下几种渠道分析最大化增长:登出用户的默认页面的布局、邀请来源、Email联系方式导入器的设计。除了以上分析,我们开始通过历史数据开发简单的产品,包括对赞助商成员特性进行聚集的内部项目。实践证明,该项目很受品牌广告商欢迎。
我那时没有意识到,实际上,通过ETL框架、数据仓库和内部控制台,我们已经构建了一个简单的“商业智能”系统。
“猎豹”和“大象”(译注1)
从第一天开始对Facebook的点击流写日志起,到现在我们已经收集了超过400GB的数据。对该数据集的加载、索引和聚集操作对Oracle数据库的负载很重。虽然做了很多优化操作,但是我们还是无法在24小时内完成对一天的点击流的聚集操作。很显然,我们需要把日志文件聚集到数据库外,只在数据库中保存摘要信息供后期查询。
幸运的是,一个来自某大型网站的顶尖工程师加入了我们团队,他有过处理大规模Web点击流的经验。仅仅几周的时间,该工程师就构建了一个名为Cheetah(猎豹)的并发日志处理系统,该系统能够在两个小时内处理一天的点击流。这实在太让人振奋了。
但是,Cheetah存在一些不足:首先,在处理完点击流数据后,原始数据还是以归档方式保存,不能够被再次查询。此外,Cheetah是从一个共享的NetApp归档数据中获取点击流数据,而NetApp归档数据的读带宽受限。每个日志文件的“模式”是嵌入在处理脚本中,而不是保存为可查询格式。我们没有收集进程信息,而是通过Unix基础工具cron来调Cheetah任务,因此无法应用复杂的加载共享逻辑。最重要的是,Cheetah不是开源的。我们团队很小,资源有限,无法分配更多的资源来开发、维护和给新用户培训使用Cheetah系统。
Apache的Hadoop项目,由Doug Cutting和Mike Cafarella于2005年末启动,是我们取代Cheetah的最佳选择。以Doug的孩子的玩具大象命名,Hadoop项目的目标是实现遵从Apache2.0许可的G公司的分布式文件系统和MapReduce技术。雅虎在2006年1月聘用了Doug Cutting,并投入了大量的工程资源来开发Hadoop。在2006年4月,该软件使用188台服务器,能够在47小时内,对1.9TB的数据进行排序。虽然Hadoop的设计在很多方面优于Cheetah,但它在那时还太慢了,不能够满足我们的需求。在2008年4月,Hadoop用910台服务器,可以在209秒内对1TB的数据进行排序。由于Hadoop性能的改进,我说服了运行组团队利用60台Web服务器和3台500GB的SATA驱动器,开始在Facebook第一次部署Hadoop集群。
在最开始, 我们通过流方式在Hadoop和Cheetah中都导入一部分日志。Hadoop增强的编程能力加上其能够查询历史数据,从而推动了一些其他有趣的项目。其中一个应用是对所有Facebook用户交互的有向对进行打分来确定这些用户的亲密程度;这个分数可以被用于搜索和新闻订阅的排序。过了一段时间,我们把所有的Cheetah工作流都迁移到Hadoop上,废弃了前者。后来,事务数据库收集程序也都迁移到了Hadoop。
有了Hadoop,Facebook的基础设施可以支持对无结构化和结构化的数据的大规模分析。随着平台扩展为每天几百TB的数据规模,可以执行成千上万个任务,我们发现由于现在系统能够存储和检索的数据规模很大,我们可以构建新的应用,探索新问题的答案。
当Facebook向所有的用户开放注册,用户数在一些国家增长迅猛。但是在那时,我们无法根据国家执行点击流粒度分析。自从有了Hadoop集群,我们可以通过加载所有的历史访问日志到Hadoop,写一些简单的MapReduce任务来重新分析Facebook在一些国家,如加拿大和挪威增长迅猛的原因。
Facebook的用户每天都有几百万半公开的对话。据一次内部估算,留言板的数据量是博客的10倍!但是,这些对话的内容还是无法进行访问用来数据分析。在2007年,一个对语言学和统计学有强烈兴趣的暑期实习生Roddy Lindsay加入了数据组。通过Hadoop,Roddy能够独立构建一个强大的趋势分析系统,该系统名为Lexicon,每天晚上能够处理TB级别的留言板数据。
在为Facebook应用构建信誉积分系统时,我们证明了把不同系统的数据存储到相同的存储库中会导致严重的问题。在2007年5月启动了Facebook平台后不久,我们的用户就被“淹没”在添加应用的请求中。我们很快意识到需要添加一个工具来识别有用的应用和用户认为是spam的应用。通过收集API服务器的数据、用户信息以及来自网站本身的行为数据,系统能够构建一个模型对应用进行打分,这使得系统可以分发我们认为对用户最有用的应用邀请。
新工具和应用研究
在Facebook,绝大部分Hadoop集群的早期用户都是渴望追求新兴技术的工程师。为了使企业的更多人可以访问信息,我们在Hadoop上构建了一个数据仓库框架,并称为Hive。
Hive的查询语言类似于SQL,支持嵌入MapReduce逻辑、表分区、抽样和处理任意序列化数据的能力。最后一个特征至关重要,因为收集到Hadoop的数据在结构上不断变化;允许用户指定自己的序列化模式,可以使我们把为数据指定结构问题转为把数据加载到Hive。此外,我们还实现了一个简单的用户界面来构建Hive查询,名为Hipal。使用这些新的工具,市场、产品管理、销售和客户服务的非工程师都能够在几TB的数据上自己执行查询。经过几个月的内部使用后,在Apache2.0许可下,Hive成为Hadoop的官方子系统,现在仍然在积极地开发中。
除了Hive,我们构建了分享图表和图形的门户Argus(受IBM的Many Eyes 项目启发) 、工作流管理系统Databee、用Python写MapReduce脚本的框架PyHive、为终端用户提供结构化数据服务的存储系统Cassandra(现在作为开源,在Apache孵化器中)。
随着这些新系统的稳定,我们最终构建了由单一Hadoop集群管理的多层模式的数据。企业中的所有数据,包括应用日志、事务数据库和Web爬虫,都以原始数据格式,定期收集到Hadoop分布式文件系统中。夜间执行的几万个Databee进程将把一部分数据转化为结构化格式,把它放入由Hive管理的HDFS文件目录中。在Hive中执行下一步聚集操作,用来生成Argus服务报表。此外,在HDFS内,在自己的home目录下维护“沙盒”的工程师可以运行原型任务。
目前,Hadoop包含了将近2.5PB的数据,而且以每天15TB的数量级增加。每天都有3000个以上的MapReduce任务在运行,处理55TB的数据。为了适应这些运行在集群上的任务的不同优先级,我们构建了作业调度器,实现在多个队列上的资源共享。
除了支持内部和外部的报表、a/b测试管道和很多不同的数据密集型产品和服务,Facebook的Hadoop集群可以实现一些有趣的应用研究项目。
由数据科学家Itamar Rosenn 和Cameron Marlow主持的一个纵向研究项目用于预测长期的用户参与的最重要的因素是什么。我们使用信息平台来选择一些用户的样本,删除游离点,并对参与度的不同尺度使用一些最小角度回归技术来生成大量的特性。有些特性能够通过Hadoop生成,包含计算好友网络密度的各种尺度和基于信息特性的用户范围。
另一个探索激励新用户贡献内容的动机的内部研究,在2009年CHI 会议的论文“Feed Me: Motivating Newcomer Contribution in Social Network Sites”中有描述。Fa c ebook数据组的一个更新的研究是查看信息流是如何在Facebook的社会图中流动,该研究的标题为“Gesundheit! Modeling Contagion through Facebook News Feed”,已被2009 ICWSM会议接收。
在Facebook,每天收集证据、测试假设、构建应用和使用共享的信息平台生成新的洞察。而在Facebook之外,其他公司也同时构建了类似的系统。
数据科学家
在最近的访谈中,G公司首席经济学家Hal Varian强调了员工需要能够从之前描述的信息平台中抽取信息。正如Varian所言:“找到能够为一些变得普遍且廉价的东西提供稀缺、互补的服务。那么,是什么变得普遍且廉价?数据。是什么与数据相辅相成?分析。”
在Facebook,我们发现传统的头衔如商业分析师、统计学家、工程师和研究科学家都不能确切地定义我们团队的角色。该角色的工作是变化多样的:在任意给定的一天,团队的一个成员可以用Python实现一个多阶段的处理管道流、设计假设检验、用工具R在数据样本上执行回归测试、在Hadoop上为数据密集型产品或服务设计和实现算法,或者把我们分析的结果以清晰简洁的方式展示给企业的其他成员。为了掌握完成这多方面任务需要的技术,我们创造了“数据科学家”这种角色。
在金融服务领域已经构建了历史市场行为的大数据存储作为该领域的数据科学家, 即数据分析专家(Quants),来开发新模型的实验场。在工业以外,我发现在很多科学领域,研究生扮演着数据科学家的角色。Facebook数据组团队的其中一员曾在生物信息实验室工作过,在那里他构建过数据管道流,并做类似的离线数据分析。在CERN,著名的Large Hadron Collider生成大量的数据,这些数据是由一群追求突破的研究生精心收集和钻研的。
最近新出的书如Davenport和Harris合著的《Competing on Analytics》(哈佛商学院出版社,2007),Baker的《The Numerati》(Houghton Mifflin Harcourt,2008)以及Ayres的《Super Crunchers》(Bantam,2008)都强调了在跨工业中数据科学家的重要性,他们在促进企业基于收集到的信息做出改进发挥了至关重要的作用。和研究社区在数据空间的调研一起,数据科学家在今后几年需要进一步的定义。通过更好的阐明数据科学家角色,我们可以建设培训课程、制定广告层次、组织会议、写书以及为任何被认可的行业做补充。在这个过程中,可行的数据科学家组织将会不断扩展,用来满足飞速增殖的数据平台上不断增长的专业“领航员”需求,进一步加速跨企业的学习过程。
当面对在Facebook构建一个信息平台的挑战时,我发现观察别人是如何跨越时间和问题领域来解决相同的问题是很有帮助的。作为工程师,我最初的做法是通过已有可得的技术作为指导,这在现在看来显得有点目光短浅。最大的挑战是一直致力于研究构建“学习型组织”的基础平台和人员构成这个大的问题,而不是某些特定的技术系统,如数据仓库或企业搜索系统。
我确信构建信息平台采用的硬件和软件将会迅速演化,并且数据科学家需要掌握的技术也将以同样的速度变化。保持致力于加速学习过程的目标对于企业组织和科学都有帮助。未来属于数据科学家!
译注1 : 猎豹和大象在此采用了借代的修辞方法。猎豹(cheetah)指的是Facebook的The Cheetah日志处理系统,大象(elephant)则代指的是Hadoop项目。
喜欢该文的人也喜欢

我要回帖

更多关于 出现紧急情况怎么办 的文章

 

随机推荐