霍金也怕AlphaGo 人工智能将成为灭绝人类的武器吗
编辑：钢牙兔
发布时间： 18:54
人工智能AlphaGo居然在围棋上打败了真正的世界顶级高手，可见技术大为进步；但是关于人工智能的各种争议声音从未停息，这样的“黑科技”未来是否会对人类自己带来威胁呢？
在今天下午进行的谷歌人工智能AlphaGo与韩国棋手李世石的围棋比赛中，作为人类代表的李世石最终认输，人工智能再下一城！AlphaGo在这场比赛中的表现让很多专业棋手目瞪口呆，几乎招招都是最佳应对，这也是最终打败李世石的绝招之一。&谷歌希望能把这套人工智能算法用于灾害预测、风险控制、医疗健康和机器人等复杂领域。也就是说谷歌的目的还是为了更好的服务人类，没有任何恶意。不过，并不是所有人都会对人工智能持乐观态度。诸如特斯拉CEO马斯克、理论物理学家霍金等科技界的名人就对此产生了担忧。霍金警告称人工智能最终或许将威胁人类的生存，他说：成功制造出一台人工智能机器人将是人类历史上的里程碑。但不幸的是，它也可能会成为我们历史上最后的一个里程碑。&未来的不可知让我们现在无法准确的评判人工智能是好还是坏，而对于人工智能的探讨也早已开始，各种影视作品、游戏、漫画、小说等已经给出了无数种可能。&早在2001年华纳兄弟推出了电影《人工智能》，在这部电影中小机器人大卫是个完美的孩子，带给它的养父母无尽的爱，但最终却被养父母的亲子所陷害而惨遭抛弃；即便如此，孤独了数千年的大卫在人类灭绝后还还努力重生它的母亲！这样感人的故事必然让很多人对于人工智能心生同情，也会向往这样完美的人工智能。&而在电影《超级骇客》中，人工智能依然是带着人性走来，在获得了无所不能的强大能力后，威尔卡斯特博士似乎开始追求更多的东西，可怕的后果似乎已经开始显现，但是却已经没人能够阻止他。&而在《我，机器人》这部电影中，功能全面的人工智能已经成为人类不可缺少的帮手，但是阴谋却突然爆发，机器人以暴力的方面接管了人类，并对人类形成了致命的威胁。有趣的是，在这部电影中，最终解决这个危机的居然是另一台更加人性化的机器人桑尼。&类似的电影还有很多，大都围绕着人类的丑陋点和人性，机器人的阴谋和爱情。总之，对于人工智能并没有统一的看法，甚至会认为人工智能也会分裂为邪恶和友好，就如同人类一般，有好人也有坏人。至于对于人工智能对于人类的威胁，不知道是不是电影结局的影响，似乎普通人对此并不是十分担心，或许科学家不会疯狂到灭绝自己，或许机器人也明白正义必胜的人类道理吧！(╯▽╰)&不同于电影中我们作为旁观者观看，在游戏作品中玩家已经开始直面人工智能。《光晕》系列游戏的玩家对士官长的人工智能伙伴Cortana记忆深刻，这可不仅仅是因为她的性感外表。在《光晕》中，Cortana是主角的最佳伙伴，她帮助士官长经历一次次惊现的战斗，他们的关系也越发密切，似乎她已经爱上了自己的主人。最终在死亡危险来临时，Cortana选择了牺牲自己保护士官长，生死未卜……相信很多《光晕》的玩家已经不再把Cortana当做是个人工智能帮手，而是早已把她当做了不可分离的伴侣。如果说这样的人工智能会毁灭人类，估计很多玩家就第一个不干了，这么牺牲自我保卫人类的性感女王是不可侵犯的。&机器人的外表，全新投影的身形，很多作品中的人工之智能是以这样的面貌来展现的，甚至一些人工智能连形状、声音都没有，我们能够感受到的仅有它的无所不能和阴谋。不过在一些作品中也塑造了一些完全人类模样的人工智能！&国产漫画《雏蜂》中就脑洞大开的创作出了美少女形状的人工智能兵器，她们有个统一的名字“尖兵”。人类的面孔和身材，人类的情感在加上超级的技能，让这些美少女尖兵的魅力无可抵挡。在一切皆可娘化的时代，科幻空洞的武器变成有脾气有感情的美少女，这才是二次元的朋友们最喜欢的嘛。在这部作品中，这些尖兵美少女们除了超能力外似乎已经于人类没什么不同了，她们不是批量生产的机器，而是一个个单独的个体；拥有个字的脾气、爱好、感情、追求、理想、仇恨……当然她们也各为其主，分属于不同的主人/势力/国家。似乎这样的情况是最好的，被人类创造出来的人工智能并不是一致向外的，只要她们不团结起来，那么人类就可以分而治之并控制她们。说到底，最终的选择权依然在人类自己手里。&虽然有争议，但是人工智能必然会继续向前发展，最终这些机器获得人类别的情感和思想似乎也并非不可能。但是危险会否到来呢，似乎人类不能寄希望与人类自己的自制力，疯狂的人类从未停止对自己、对家园（地球）的伤害，很多疯狂的病毒/武器都是人类自己发明出来的。对于人工智能，或许我们可以期待，但也不能过分幻想。说了这么多废话，最后提个正事。最后提到的《雏蜂》除了动漫出口日本外，近期也开始被打造成了手机游戏《雏蜂之尖兵少女》，毕竟舰娘都来祸国殃民了，雏蜂美少女们更应该成为宅男们的最爱。有兴趣的玩家可以体验下，未来的人工智能美少女是否符合你的期待。
暂无相关推荐
游戏类型：
游戏语言：
游戏分类：
游戏厂商：
剩余：189/200
(C) Copyright (C)
超好玩 All Rights Reserved热门推荐：
　　文/水哥
　　“机器人不得伤害人类，或坐视人类受到伤害；
　　除非违背第一法则，机器人必须服从人类的命令；
　　在不违背第一及第二法则下，机器人必须保护自己。”
　　这是著名科幻小说家阿西莫夫在《我，机器人》中的引言，这三句文字就是后世广为流传的“机器人三定律”，从那时起这也成了人类敬畏人工智能的开始。
　　已过而立之年的李世石被认为是年富力强、权衡了攻与防、智慧与稳重兼备的最佳棋手样本，机器与他对弈或许是体现人工智能与人类智能差异的最好方式，而谷歌携AlphaGo叫板围棋界点名李世石正是基于这样的考虑。这场2016年人机围棋大战受到了全球瞩目，而更多人则为人工智能以这样一种“文艺复兴”的方式崛起而略感担忧，这其中还包含了恐惧，以至于那个老生常谈的话题重返嘴边：机器会取代人类吗？
　　人类对人工智能的担忧由来已久，从1997年IBM超级电脑深蓝击败人类国际象棋冠军卡斯帕罗夫那时起，围棋就被看作是人类智力的最后壁垒。然而，当职业棋手、欧洲围棋冠军樊麾以5比0落败AlphaGo的消息传来之时，人们或许还来不及反应，3月9日下午李世石对弈AlphaGo首场告负，舆论对人工智能的争议瞬间引炸升温，争论不绝于耳。
　　极端想象者对人工智能的恐惧无非源于后启示录风格的小说、影视、游戏作品的影响，当然这属于科幻的范畴，于现实毫无意义。但人工智能的实际影响确实存在，因为你无法否认科技对你的改变。于是我们尝试讨论以下几个相关问题：
　　● 人工智能和人类智能有什么区别？
　　人工智能是计算机科学的产物，是冷冰冰的机器，没有任何生命特征，与科幻作品中的生化人、改造人有天壤之别。因此，那些幻想机器拥有真实的人类感情无疑天方夜谭，即使有，那也是程序设定，并非真的机器有了思想。
　　人类智能则比较复杂，迄今为止科学界尚未对人类智能有过较为完整的阐释，其中未能解释的部分包括人类大脑的全部功用、意识、潜意识的研究等等。斯佩里左右脑分工理论认为人类大脑左右半球分别负责抽象思维与形象思维，但这只是基于动物脑实验研究的结论，并未得到科学界的严格认定。不论如何我们可以肯定的是，人脑至少包含了两个功能：理性的逻辑演绎和感性的想象创造，简单说就是理智与情智，而人工智能只拥有前者。
　　人工智能是模拟思维，它仅仅是用理性计算来模仿人类思维，而并非人类思维本身。人类思维包含有意识与无意识，人工智能则只有无意识。
　　● 人工智能会超过人类吗？/人工智能与博弈论的关系
　　已经超过了。从深蓝战胜人类国际象棋冠军那时起，在国际象棋领域人工智能就已经超越了人类，这毫无争议。现在人机比智的焦点又转移到了围棋界，不难想象这样的例子以后还会在更多领域出现。我们的问题是为什么人工智能在这些领域可以超越人类。
　　事实上，人工智能的发展可以看作是学习、计算，再学习、再计算，进而往复无穷的过程，而从起初至今的这段时间内人工智能一直与博弈论相伴相生。冯?诺伊曼被同时誉为计算机之父与博弈论之父这绝非偶然，其晚年弥留之作《计算机与人脑》说明了他对计算机、博弈论、人工智能、人类智能多领域交集的研究，也印证了这些交集的存在与联系。
　　博弈论是应用数学的一个分支，它的参与者是“理性经济人”，是恪守严格优势策略的绝对理性人格，在现实中并不存在，只有机器能做到这点。因而人与机器对弈时难免因情绪波动或其他非理性因素而失利，但是机器绝对理性，绝不犯错，它就像一个博弈论的顶尖高手，在自己已有的知识框架内将能力发挥极致。9号的赛局中李世石中盘出现波动，而AlphaGo则迅速将其逼入对机方有利的纳什均衡中，由此可窥得人机博弈的优劣所在。
　　神经网络、深度学习、MCTS算法这些通用技术让人工智能获得了敏捷的学习与认知能力，它比人类更快地汲取信息、分类知识。赛局博弈讲求的是信息的较量，谁的信息量更大、信息的价值更高，谁就能胜出。比如诸葛亮为什么能算准曹操走华容道，而曹操却误判对方不这么认为，因为诸葛亮所掌握的信息层次要高于曹操，就是这个道理。
　　因此，在当前技术水平下人与机器对弈，对方首先是一个绝对理性的博弈论高手，不存在人性的任何弱点；其次它还拥有海量知识与信息，它的信息量优势将远大于人类个体。面对这样一个对手，人类个体如不借助外力，几乎毫无胜算。
　　● 人工智能会取代人类吗？
　　与其说取代，不如说它成为了人类的新工具。机器对人类劳动力的替代在工业革命时期早有体现，这并不能成为对人类文明的威胁，相反是进步。一个简单的道理是，人类不能因为科技改变了生活就因此停滞不前。从前有个故事，一个美国西部中年男子是一家四口主要生产力，从事汽车零部件装配工作。一天工厂引进自动化装配流水线，机器抢了他的饭碗，他失业了。男子起初万念俱灰，但很快他找到了新的出路。三个月后，男子成了原工厂的装配设备维修工，这带给他比原先更高的收入。这是一个励志的故事，也暗示了人类强大的生存与进化能力。
　　我们前文指出，人类大脑至少包含理智与情智两个部分，而人工智能只拥有前者，这意味着机器永远不能完全像人类那样思考，它只能在堆叠理性的基础上不断建模，试图接近人类的特征。建模在博弈论的概念上是指获得更加完善的理想化模型，使之接近现实，获得更精确的预测结果。然而，模型永远与现实存在差距，因其来源正是人类大脑情智部分所产生的创造与想象功能。所以一个结论是，人工智能所拥有的知识只是人类知识的一个子集。机器永远没有想象力，纵使看上去有，那也是虚假的。人工智能对外界的学习依赖于人类的知识与想象，没有人类作为母体提供创作源，人工智能也将停止进化。
　　当了解人工智能本质之后人们或感到这并不可怕，但科技永远是把双刃剑，人性的贪婪往往令之反噬其身。
　　正当本文收尾之时，前方传来第二局李世石再次负于AlphaGo的消息。这一次，整个世界都陷入了沉思。业界“老滑头”施密特说了句颇得人心的话：不论输赢，最后都是人类的胜利。
　　希望如此！
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
高级工程师，科技专栏作者。IT评论，业界分析，不一而足。联...
知名IT评论人，曾就职于多家知名IT企业，现是科幻星系创建人
未来在这里发声。
新媒体的实践者、研究者和批判者。
立足终端领域，静观科技变化。深入思考，简单陈述。
智能硬件领域第一自媒体。2当年收件：&&截止：
累计收件：&&&&&&{shuzi}件
累计办结：&&&&&&{shuzi}件
当年收件：&&&&&&{shuzi}件
当年办结：&&&&&&{shuzi}件
当月收件：&&&&&&{shuzi}件
当月办结：&&&&&&{shuzi}件
县市网上办事导航：
当前位置：&-&&&-&&
新手开户买股票:巴西法官签署法令中止前总统卢拉出任内阁部长
　巴西法官签署法令中止前总统卢拉出任内阁部长
华国豫省大佛寺和鄂省玄武派是以前华国的武学圣地，在整个华国的知名度是最高的，去这两个门派拜师的也是最多的，传播度最广。
闻言，姜紫月接过了镯子，戴在了手上，随后看着桌子上的小金，脸上又露出了为难的神色，显然她还没有和小金玩够呢。
王锋骑着小毛驴向着前面奔跑，没有多久，这条闪烁着仙光的石路就开始向下延伸，并且仙光越来越黯淡了，最后整个石路消失不见，王锋和小毛驴出现在了一片巨大的空间当中。
王道和王锋妈妈听了老太太的话，一脸的无奈，当初他们两个为了能够在一起，一起私奔离开了苗寨，虽然只是到了离这里不远的大山镇，但是对老太太来说却是不可原谅的事情。
而就在这个时候，忽然一股记忆在王锋的心中涌出，居然又是一个**心法，名为《道心种魔》，而看着这个心法，王锋的脸上渐渐的露出了惊喜。
随着墨小红的话，王大力看见小春等十二人从她们的住处走了出来，只不过此时的小春等人已经没有穿着她们以前的长裙了，而是穿上了和墨小红一样的皮衣皮裤，一个个都十分**火辣，这让王大力不由自主的吞了两口口水。
“爸，这个人怎么跟家里那张老祖宗的画像那么像啊？”看着银甲将军，王锋向站在旁边的王道小声问道。
“那你怎么不用龟甲呢？徐爷爷都是用龟甲的。”晨曦公主一副好奇宝宝，问题一个接着一个。
听了王锋的话，王大力顿时双眼放光，自从那次在打谷场这里打赌之后，王大力就发现王锋越来越神秘了，又会算卦，又会画符，简直就是一个小神棍了，不过王大力对王锋也越来越相信，谁让王锋肯给他两百块钱呢。
王大力的话自然惹来王锋，阿宝的嘲笑，四个人一路说笑向外面走去，刚走到外面，就看见姜紫月和林若水站在教室外面。
李斯听了秦皇的话，连忙上前对秦皇拜谢，而李斯退下之后，王翦走了上来，对秦皇说道，“大帝，我这个后人乃是九阳战体，我希望他能跟着我。”
如影随形腿，罗汉拳，金刚掌等绝技从王锋手里施展出来，与悟尘施展的一模一样，但威力和味道却有很大区别，周围看热闹的同学虽然不知道什么叫拳意，却也能够看出王锋施展出来的比悟尘要厉害的多。
明劲，这是王道跟王锋说的修炼武功的第一个境界，顾名思义，明劲就是要明白发劲的方法和技巧，从而达到锻炼肌肉筋键的目的。
刚才紧张的要命的王锋见到避雷罩真的将这一道雷电分解，消散了，终于松了一口气，立刻就得瑟了起来。
来到秦家庄园，门口守卫见到王道等人，自然是脸色大变，刚要拉起警报，飞龙直接扑了上去，将两个守卫打昏了过去。
听了王锋的话，黄胖子差点吐血，要知道就算是他这个仙院院长，平时也都不敢轻易使用九级聚灵法阵来修炼，因为九级聚灵法阵聚集天地灵气的效果虽然好，但是消耗太大了，每一次使用也是让黄胖子感到肉疼，而到了王锋这里却勉强够用。
只见将大蜥蜴魔兽吞噬了之后，王锋他们继续向前飞着，一路上又遇到了不少强大的魔兽，不过在王锋的饕餮法之下，根本没有抵抗之力，全部都被吞噬了，当然，这主要是因为王锋他们遇到的魔兽都实力太弱了。
小心翼翼的将各种材料炼化成一团血红色的液体，之后王锋就开始不断的打出一道道的手印，各种符文不断烙印上去，随后一朵血红色的莲台渐渐成型。
既然对方是来杀自己的，王锋也不会手下留情，只是他刚说完，王大力就不愿意了，立刻大步迈到了前面，向王锋说道，“王锋，刚才你已经打了一场了，这一场该轮到我了。”
“刚好有三株，我一株，大力哥一株，阿宝一株，哈哈，真是太好了。”王锋看着三株龙血草，极为兴奋的说道。
不过只是去坐坐，又不做其他事情，这有什么好怕的呢，所以王锋直接就答应了下来，跟着狐白衣向白衣侯府走去。(未完待续。)
王翦指的是王道，这让王锋十分惊讶，刚才秦皇说自己是无上纯阳之身，而现在王翦又说王道是九阳战体，到底这是什么东西啊？
挠了挠脑袋，王锋试图转移话题，对老太太说道，“哎呀，您真的能看懂？可真是太厉害了！”
周志斌画的是一张烈火符，画好之后，直接输入法力激发了烈火符，只见砰地一声，烈火符直接燃烧起来，化作了一团直径足有十米的巨大火球，向着天空射去。
躺在床上的黄老听了王锋和老五的话，哈哈大笑了起来，见状，王锋一边捻动着骨针为黄老针灸，一边对黄老说道，“一会儿您忍着点啊。”
看着邹天一的模样，王锋一脸得意，大笑着说道，“那是，我可是天纵奇才，无上神武，不管是啥，那都是高手！”
终于爬出了山洞，王锋找回了自己的背包，正要往回走，寻宝鼠忽然窜到了他的身上，站在了他的肩上，这让王锋一愣，向寻宝鼠问道，“你想做什么啊？”
王锋倒是没想到刀哥会问这件事情，只不过他跟刀哥也是这么多年交情了，所以并没什么好隐瞒的，直接点头承认了下来。
五十万啊，就算是生在吕家的吕天宇，一年的零花钱也只有这么多啊，而王锋他们这群穿着打扮都很普通的人又怎么能够拿得出来？至于王锋他们为什么能够订到包房，在吕天宇看来只是因为王锋他们来得早，并不是因为他们有钱。
所以刀哥才会对王锋说这些，因为在城东，刀哥不说一手遮天，那也差不多了，万一王锋给人看病出了问题，刀哥也好帮着王锋解决一下。
刚要上前解释，秦苍海冷哼一声直接转身离开，而帅气男生注定只能成为一个没有名字，无人问津的悲剧龙套。
在王锋一拳轰来的时候，秦卿就感觉到了危险，身体迅速后退，而当王锋一拳轰碎了她的护体真气，危险的感觉就更加强烈了。
王大力听王锋说的前面那些话，心中有些失望，不过听到王锋说教他的东西可以让他力量越来越大，这让王大力又一下子来了兴趣。
本来将青青毒倒了，眼看着就要大出风头的陈浩，美梦居然被王锋打碎了，当然对王锋恨之入骨，所以听了王锋的话没有犹豫，直接答应了，“好，还是刚才的比试，你敢不敢？”
闻言，王大力嘿嘿一笑，接过郭老师投来的篮球，一边运球，一边向篮筐走去，在快要走到罚球线的时候忽然起跳，然后他那庞大的身躯就飞了起来，在众人瞪大眼睛的注视下来了一个单手扣篮！
随后水悠然又发下了天道誓言，这让火无崖和黄胖子等人都变色饿，天道誓言，那可是天地间束缚最强的誓言，一旦发了，就会受到冥冥中的天道束缚，一旦违背，就会受到天道惩罚，绝对会魂飞魄散的啊。
王锋迅速的将自己需要的药材报给了李云心，听完之后，李云心沉默了一会儿，说道，“其他药材我能够给你弄到，但是你说的血参，七叶灵芝和血精这些东西，我弄不到。”
话落，姓感女孩儿屈指成爪就向王锋抓了过来，这一爪抓出，带着虎啸山林的气势，与空气摩擦爆出尖锐刺耳的声音，直接向王锋心口抓了过来。
听了王锋的话，姜紫月似乎也意识到了自己行为的不妥，脸色有些发红，瞪了一眼王锋，恋恋不舍的将青春永驻丹放到了茶几上面。
孙建听了王锋的话，点了点头，说道，“既然你这样说了，那我就暂且相信你了，只要你不插手，孙方还是可以有机会的。”
修真次元距离上界最近，所以魔之次元，龙之次元这些强大的次元都想攻占修真次元，经常和修真次元爆发战争，只不过像水火次元这样的次元，因为本身不算强大，所以选择的方式就是和修真次元合作，自然会有很多方面的交易。
而就在这个时候，厨房里却传出了另外一个声音，“哎呀呀，云心姐，你怎么能这么偏心啊，王锋来了你就加这么好吃的菜，我来了怎么没有啊？”
尤其是少女身上的气息，极为宁静，看着王锋他们的眼睛十分平静，并没有因为王锋他们的闯入而有任何不满和生气。
见状，王锋还真以为自己看错了，毕竟他只是按照两本典籍上记载的东西说了出来，到底是不是正确的，他自己也不知道。
如今王锋修炼的重点自然是参悟时间法则，如今王锋已经是时光境小成了，对时间法则的领悟有了很大的进步，只是想要艹纵自身洞天内的时间流逝速度，却还需要更深一步对时间法则的领悟才能够做到。
因为天空中那一团好像是太阳一般的光团时刻散发着光芒，整个天地一直都是一片光明，王锋也没戴手表，手机也早就没电了，所以王锋现在也不知道进入这个空间多长时间了，反正他觉得已经很久了。
清虚子听了王锋的话，气得要吐血，看着九婴和诺亚以及下方的血族尼古拉，兽族首领，说道，“诸位，嬴政这是要将我等往绝路上逼，再不出手，以后被灭的就是我们了。”
王大力早就忍耐不住了，听了王锋的话，大吼一声，直接就火力全开，全身迅速变成了金色，就好像是一头猛兽一般冲了上去，与各位队长大战在了一起。
中国国防科学技术工业委员会&www.&&&&责任编辑：中国国防科学技术工业委员会&&打印本页&&关闭本页韩媒:AlphaGo获胜人机大战是人类历史转折点
参考消息网
点击图片进入下一页
9日，在首尔明伦洞的美丽剧场，围棋粉丝们在观看李世石与AlphaGo的比赛。/朝鲜日报
参考消息网3月10日报道
韩媒称，9日，职业九段棋手李世石在与AlphaGo的围棋对决中，3小时30分钟后投子认输，使韩国陷入冲击和各种复杂情绪。机器超过人类智能的兴奋与人类“优势线”崩塌的混乱同时涌来。
据韩国《朝鲜日报》网站3月10日报道，AlphaGo的胜利在人类历史上是划时代的大事件。首尔大学西洋史专业的周庆哲（音）教授表示：“AlphaGo获胜的世界不知道是乌托邦还是反乌托邦，但是可以看做是与农业、产业革命并肩的人类历史的巨大转折点。”韩国科学技术团体总联合会下任会长金明子（音）表示：“身为科学家和人类的一员，看到人工智能的发展比预期更快，感到兴奋。本次AlphaGo的胜利让我觉得害怕，技术的价值是否超过了人类的价值。”小说家李文烈表示：“以前觉得机器超过人类是科幻科学电影中才可能的事情，变成了现实，感到一阵寒意。”文化评论家金炳翼表示：“人类认为自己是唯一拥有智能的存在的自信破碎的时候到了。”
前文化部长官李御宁表示：“虽然人类的失败是冲击，但不能忘了，本质还是人类的胜利。制造出AlphaGo的也是人类，因此这只是人类和人类的对决。人工智能超过可以自行制造人工智能这一奇异点时，才可以说人工智能实际超越人类的新世界开启。”
报道称，韩国市民们受到的冲击也很大。76岁的南某表示：“AlphaGo对阵李世石的时候，冷静出棋的程度令人恐惧。作为人类，是自尊心受损，倍受冲击的事情。”75岁的金某表示：“AlphaGo出了没见过的棋时以为是失误，结果出来后才发现是早已计算好后面几十步的策略。”
研究人工智能的专家们见证了“技术的进化”，表示欢迎。软件政策研究所的所长金进亨（音）表示：“AlphaGo的胜利让我感到了人类的科学技术前进了一步，身为科学家，感到痛快和骄傲。”KAIST的金大植（音）教授表示：“今天是‘机器的时代’开启的历史性的一天。”KAIST的一名学生表示：“很惊讶，想学习更多人工智能领域的知识。”
报道称，李世石败给AlphaGo后，SNS和网络社区上出现了承载着冲击与不安，惊讶和不悦的文字。一位网友说：“也许再过不久，电影《《终结者5》中出现的‘人类对电子人’的战争就会上演。”然而去年在美国国防部主办的“机器人工学挑战赛”中获得第15名的Robotis金炳秀（音）代表认为：“只要科学技术被人类适当控制，就不会威胁人类。”
编辑：新语
版权所有：共青团中央网络影视中心信息网络传播视听节目许可证0105108号 京ICP备号-1&&|&&&&|&&客服电话：010-广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。欲获取更多精彩信息
请关注Wind资讯或下载万得股票APP
来源：知乎
（本文获授权发布）
（接上文）
Bostrom描述了三种超人工智能可能的工作模式：
先知模式：能准确回答几乎所有的问题，包括对人类来说很困难的复杂问题，比如“怎样造一个更好的汽车引擎？”
精灵模式：能够执行任何高级指令，比如用分子组合器造一个更好的汽车引擎出来
独立意志模式（sovereign）：可以执行开放式的任务，能在世界里自由活动，可以自己做决定，比如发明一种比汽车更快、更便宜、更安全的交通模式。
这些对人类来说很复杂的问题，对于一个超级智能来说可能就像“我的笔掉了，你能帮我捡一下吗？”这么简单。
Eliezer Yudkowsky，是这么说的：
“根本没有困难的问题，只有对于特定级别的智能来说难的问题。在智能的阶梯上走一小步，一些不可能的问题就变得简单了，如果走一大步，所有问题都变得简单了。”
信心角里有很多热忱的科学家、发明家和创业者，但是对于人工智能的未来最有发言权的，当属Ray Kurzweil.
对于Kurzweil的评价非常两极化，既有如对神人般的崇拜，也有翻白眼似的不屑。也有一些中立主义者，比如作家Douglas Hofstadter，他觉得Kurzweil的观点就好像把美食和狗屎混在一起，让你分不清是好是坏。
不管你同不同意Kurzweil的观点，他都是一个牛人。他年轻时候就开始搞发明，之后几十年发明了很多东西，比如第一台平板扫描仪，第一台能把文字转化为语言的扫描仪（盲人使用），著名的Kurzweil音乐合成器（第一台真正意义上的电子钢琴），以及第一套商业销售的语音识别系统。他是五本畅销书的作者。他很喜欢做大胆的预测，而且一直很准，比如他80年代末的时候预测到2000年后因特网会成为全球级的现象。他被《华尔街日报》成为“不休的天才”，被《福布斯》称为“终极思想机器”，被《Inc.》称作“爱迪生真正的传人”，被比尔·盖茨称为“我认识的对人工智能预测最厉害的人。”2012年谷歌创始人Larry Page曾邀请他担任谷歌的工程总监，2011年他共同创立了奇点大学（Singularity
University），现在大学由美国太空总署运运营，由谷歌赞助。
Kurzweil的经历很重要，因为当他讲述自己对未来的愿景时，他听起来就是个疯子，但是他不疯，恰恰相反，他非常聪明而有知识。你可能觉得他对于未来的想法是错的，但是他不傻。知道他是一个聪明人让我很开心，因为当我知道他对未来的预测后，我急切的很希望他的预测是对的。信心角中的很多思想家都认同Kurzweil的预测，他也有很多粉丝，被称为奇点主义者。
Kurzweil相信电脑会在2029年达成强人工智能，而到了2045年，我们不但会有超人工智能，还会有一个完全不同的世界——奇点时代。他的人工智能时间线曾经被认为非常的狂热，现在也还是有很多人这么认为，但是过去15年弱人工智能的快速发展让更多的专家靠近了Kurzweil的时间线。虽然他的时间线比之前提到的2040年和2060年更加早，但是并没有早多少。
Kurzweil的奇点时代是三个技术领域的共同革命造成的——生物技术、纳米技术和最重要的人工智能技术。
在我们继续讨论人工智能前，让我们谈一下纳米技术这个任何关于人工智能的讨论都会涉及到的领域。
纳米技术说的是在1-100纳米的范围内操纵物质的技术。一纳米是一米的十亿分之一，是一毫米的一百万分之一。1-100纳米这个范围涵盖了病毒（100纳米长），DNA（10纳米宽），大分子比如血红蛋白（5纳米），和中分子比如葡萄糖（1纳米）。当我们能够完全掌握纳米技术的时候，我们离在原子层面操纵物质就只差一步了，因为那只是一个数量级的差距（约0.1纳米）。
要了解在纳米量级操纵物质有多困难，我们可以换个角度来比较。国际空间站距离地面431公里。如果一个人身高431公里，也就是他站着能够顶到国际空间站的话，他将是普通人类的25万倍大。如果你把1-100纳米放大25万倍，你算出的是0.25毫米-25毫米。所以人类使用纳米技术，就相当于一个身高431公里的巨人用沙子那么大的零件搭精巧的模型。如果要达到原子级别操纵物质，就相当于让这个431公里高的巨人使用0.025毫米大的零件。
关于纳米技术的思考，最早由物理学家费曼在1959年提出，他解释道：“据我所知，物理学的原理，并不认为在原子级别操纵物质是不可能的。原则上来说，物理学家能够制造出任何化学家能写出来的物质——只要把一个个原子按照化学家写出来的放在一起就好了。”其实就是这么简单，所以我们只要知道怎样移动单个的分子和原子，我们就可以造出任何东西。
程师Eric Drexler提出纳米级组装机后，纳米技术在1986年成为了一门正经的学科。纳米级组装机的工作原理是这样的：一个牛逼扫描仪扫描物件的3D原子模型，然后自动生成用来组装的软件。然后由一台中央电脑和数万亿的纳米“机器人”，通过软件用电流来指挥纳米机器人，最后组成所需要的物件。
再扯远一点，纳米技术有一些不是那么有趣的部分——能够制造数万亿的纳米机器人唯一合理的方法就是制造可以自我复制的范本，然后让指数级增长来完成建造任务。很机智吧？
是很机智，但是这一不小心就会造成世界末日。指数级增长虽然能很快的制造数万亿的纳米机器人，但这也是它可怕的地方——如果系统出故障了，指数级增长没有停下来，那怎么办？纳米机器人将会吞噬所有碳基材料来支持自我复制，而不巧的是，地球生命就是碳基的。地球上的生物质量大概包含1045个碳原子。一个纳米机器人有106个碳原子的话，只需要1039个纳米机器人就能吞噬地球上全部的生命了，而2130约等于1039，也就是说自我复制只要进行130次就能吞噬地球生命了。科学家认为纳米机器人进行一次自我复制只要100秒左右，也就是说一个简单的错误可能就会在3.5小时内毁灭地球上全部的生命。
更糟糕的是，如果恐怖分子掌握了纳米机器人技术，并且知道怎么操纵它们的话，他可以先造几万亿个纳米机器人，然后让它们散播开来。然后他就能发动袭击，这样只要花一个多小时纳米机器人就能吞噬一切，而且这种攻击无法阻挡。未来真的是能把人吓尿的。
等我们掌握了纳米技术后，我们就能用它来制造技术产品、衣服、食物、和生物产品，比如人造红细胞、癌症细胞摧毁者、肌肉纤维等等。而在纳米技术的世界里，一个物质的成本不再取决于它的稀缺程度或是制造流程的难度，而在于它的原子结构有多复杂。在纳米技术的时代，钻石可能比橡皮擦还便宜。
我们还没掌握这种技术，我们甚至不知道我们对于达成这种技术的难度是高估了还是低估了，但是我们看上去离那并不遥远。Kurzweil预测我们会在21世纪20年代掌握这样的技术。各国政府知道纳米技术将能改变地球，所以他们投入了很多钱到这个领域，美国、欧盟和日本至今已经投入了50亿美元。
设想一下，一个具有超级智能的电脑，能够使用纳米级的组装器，是种什么样的体验？要记得纳米技术是我们在研究的玩意儿，而且我们就快掌握这项技术了，而我们能做的一切在超人工智能看来就是小儿科罢了，所以我们要假设超人工智能能够创造出比这要发达很多很多的技术，发达到我们的大脑都没有办法理解。
因此，当考虑“如果人工智能革命的成果对我们是好的”这个命题的时候，要记得我们根本没法高估会发生什么。所以就算下面对于超人工智能的预测显得太不靠谱，要记得这些进展可能是用我们没有办法想象的方法达成的。事实上，我们的大脑很可能根本没法预测将会发生什么。
人工智能能为我们做什么
拥有了超级智能和超级智能所能创造的技术，超人工智能可以解决人类世界的所有问题。气候变暖？超人工智能可以用更优的方式产生能源，完全不需要使用化石燃料，从而停止二氧化碳排放。然后它能创造方法移除多余的二氧化碳。癌症？没问题，有了超人工智能，制药和健康行业将经历无法想象的革命。世界饥荒？超人工智能可以用纳米技术直接搭建出肉来，而这些搭建出来的肉和真肉在分子结构上会是完全相同的——换句话说，就是真肉。
纳米技术能够把一堆垃圾变成一堆新鲜的肉或者其它食品，然后用超级发达的交通把这些食物分配到世界各地。这对于动物也是好消息，我们不需要屠杀动物来获得肉了。而超人工智能在拯救濒危物种和利用DNA复活已灭绝物种上面也能做很多事情。超人工智能甚至可以解决复杂的宏观问题——我们关于世界经济和贸易的争论将不再必要，甚至我们对于哲学和道德的苦苦思考也会被轻易的解决。
但是，有一件事是如此的吸引人，光是想想就能改变对所有事物的看法了：
几个月前，我提到我很羡慕那些可能达成了永生的文明。但是，现在，我已经在认真的考虑达成永生这个事情很可能在我们有生之年就能达成。研读人工智能让你重新审思对于所有事情的看法，包括死亡这一很确定的事情。
自然演化没有理由让我们活得比现在更长。对于演化来说，只要我们能够活到能够生育后代，并且养育后代到能够自己保护自己的年纪，那就够了——对演化来说，活30多岁完全够了，所以额外延长生命的基因突变并不被自然选择所钟爱。这其实是很无趣的事情。
而且因为所有人都会死，所以我们总是说“死亡和缴税”是不可避免的。我们看待衰老就像看待时间一样——它们一直向前，而我们没有办法阻止它们。
但是这个假设是错的，费曼曾经写道：
“在所有的生物科学中，没有任何证据说明死亡是必需的。如果你说你想造永动机，那我们对于物理学的研究已经让我们有足够的理论来说明这是不可能的。但是在生物领域我们还没发现任何证据证明死亡是不可避免的。也就是说死亡不一定是不可避免的，生物学家早晚会发现造成我们死亡的原因是什么，而死亡这个糟糕的‘病’就会被治好，而人类的身体也将不再只是个暂时的容器。”
事实上，衰老和时间不是绑死的。时间总是会继续前进的，而衰老却不一定。仔细想想，衰老只是身体的组成物质用旧了。汽车开久了也会旧，但是汽车一定会衰老吗？如果你能够拥有完美的修复技术、或者直接替换老旧的汽车部件，这辆车就能永远开下去。人体只是更加复杂而已，本质上和汽车是一样的。
Kurzweil提到由Wifi连接的纳米机器人在血液中流动，可以执行很多人类健康相关的任务，包括日常维修，替换死去的细胞等等。如果这项技术能够被完美掌握，这个流程（或者一个超人工智能发明的更好的流程）将能使人的身体永远健康，甚至越活越年轻。一个60岁的人和一个30岁的人身体上的区别只是物理上的，只要技术足够发达我们是能改变这种区别的。
超人工智能可以建造一个“年轻机器”，当一个60岁的人走进去后，再出来时就拥有了年轻30岁的身体。就算是逐渐糊涂的大脑也可能年轻化，只要超人工智能足够聪明，能够发现不影响大脑数据的方法来改造大脑就好了。一个90岁的失忆症患者可以走进“年轻机器”，再出来时就拥有了年轻的大脑。这些听起来很离谱，但是身体只是一堆原子罢了，只要超人工智能可以操纵各种原子结构的话，这就完全不离谱。
Kurzweil的思维继续跳跃了一下，他相信人造材料将越来越多的融入人体。最开始，人体器官将被先进的机械器官所代替，而这些机械器官可以一直运行下去。然后我们会开始重新设计身体，比如可以用自我驱动的纳米机器人代替血红细胞，这样连心脏都省了。Kurzweil甚至认为我们会改造自己的大脑，使得我们的思考速度比现在快亿万倍，并且使得大脑能和云存储的信息进行交流。
我们能获得的新体验是无穷的。人类的性爱，使得人们不但能生育，还能从中享乐。Kurtzweil认为我们可以对食物做同样的改造。纳米机器人可以负责把身体需要的营养物质传送到细胞中，智能的将对身体不好的东西排出体外——就像一个食物避孕套一样。纳米技术理论家Robert A.
Freitas已经设计了一种红细胞的替代品，能够让人快速冲刺15分钟不需要呼吸——那么超人工智能能对我们的身体能力做的改造就更加难以想象。虚拟现实将拥有新的意义——体内的纳米机器人将能控制我们从感官获得的信号，然后用别的信号替代他们，让我们进入一个新的环境，在新环境里，我们能听、看、闻、触摸……
最终，Kurzweil认为人类会完全变成人工的。有一天当我们看到生物材料，然后觉得生物材料实在太原始了，早年的人体居然是用这样的东西组成的，早期的人类居然会被微生物、意外、疾病杀死。这就是Kurzweil眼中人类最终战胜自己的生理，并且变得不可摧毁和永生，这也是平衡木的另一个吸引态。他深深的想象我们会达到那里，而且就在不久的将来。
Kurzweil的想法很自然的受到了各方的批评。他对于2045年奇点时代的到来，以及之后的永生的可能性受到了各种嘲笑——“书呆子的狂欢”、“高智商人士的创始论”等等。也有人质疑他过于乐观的时间线，以及他对人脑和人体的理解程度，还有他将摩尔定于应用到软件上的做法。有很多人相信他，但有更多人反对他。
但是即使如此，那些反对他的专家并不是反对他所说的一切，反对他的人说的不是“这种事情不可能发生”，而是说“这些当然可能发生，但是到达超人工智能是很难的。”连经常提醒我们人工智能的潜在威胁的Bostrom都这么说：
很难想象一个超级智能会有什么问题是解决不了，或是不能帮着我们解决的。疾病、贫困、环境毁灭、各种不必要的苦难，这些都是拥有纳米科技的超级智能能够解决的。而且，超级智能可以给我们无限的生命，这可以通过停止或者逆转衰老来达成，也可以让我们上传自己的数据。一个超级智能还能让我们大幅度提高智商和情商，还能帮助我们创造这种有趣的体验世界，让我们享乐。
这是Bostrom这个明显不在信心角的人的观点，但也是很多反对Kurzweil的专家的观点，他们不觉得Kurzweil是在说梦话，只是觉得我们首先
要安全达成超人工智能。这也是为什么我觉得Kurzweil的观点很有传染性，他传达了正面的信息，而这些事情都是可能的——如果超人工智能是个仁慈的神的话。
对信心角的最有力的批评，是那些信心角里的人都低估了超人工智能的坏处。Kurzweil的畅销书《The Singularity is
Near》700多页，只有20页用来讨论人工智能的危险。前面提到，当超人工智能降临时我们的命运取决于谁掌握这股力量，以及他们是不是好人。Kurzweil的回答是“超人工智能正从多方的努力中出现，它将深深的融入我们文明的基建中。它会亲密的被捆绑在我们的身体和大脑中，它会反映我们的价值，因为它就是我们。”
但如果答案就是这样的话，为什么这个世界上最聪明的一些人会很担忧？为什么霍金会说超人工智能会毁灭人类？为什么比尔盖茨会不理解为什么有人不为此担忧？为什么马斯克会担心我们是在召唤恶魔？为什么那么多专家担心超人工智能是对人类最大的威胁？这些站在焦虑大道上的思想家，不认同Kurzweil对于人工智能的危险的粉饰。他们非常非常担心人工智能革命，他们不关注平衡木下比较有趣的那一个吸引态，而是盯着平衡木的另一边，而他们看到的是可怕的未来，一个我们未必能够逃离的未来。
未来可能是我们最糟的恶梦
想了解人工智能的一个原因是“坏机器人”总是让我很困惑。那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能变得危险的真实情况。机器人
是我们造的，难道我们不会在设计时候防止坏事的发生吗？我们难道不能设立很多安全机制吗？再不济，难道我们不能拔插头吗？而且为什么机器人会想要做坏事？
或者说，为什么机器人会“想要”做任何事？我充满疑问，于是我开始了解聪明人们的想法。
这些人一般位于焦虑大道：
焦虑大道上的人并不是恐慌或者无助的——恐慌和无助在图上的位置是更加左边——他们只是紧张。位于图表的中央不代表他们的立场是中立的——真正中立的人有自己独立的阵营，他们认同极好和极坏两种可能，但是不确定究竟会是哪个。
焦虑大道上的人是部分为超人工智能感到兴奋的——他们只是很担心人类现在的表现就好像《夺宝奇兵》中的这位少年：
他拿着自己的鞭子和宝物，非常开心，然后他就挂了：
同时，印第安纳琼斯则更加有见识和更加谨慎，了解潜在的危险并且做出相应的反应，最后安全逃出了山洞。当我了解了焦虑大道的人们的想法后，感觉就像“我们现在傻呵呵的，很容易像前面那小子一样被弄死，还是努力做印第安纳琼斯吧。”
那究竟是什么让焦虑大道的人们如此焦虑呢？
首先，广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。科学家Danny Hillis把这个比作“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”
Bostrom则担忧创造比自身聪明的东西是个基础的达尔文错误，就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。
当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——
生存危机指可能对人类产生永久的灾难性效果的事情。通常来说，生存危机意味着灭绝。下面是Bostrom的图表：
可以看到，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：
1）自然——大型陨石冲撞，大气变化使得人类不能生活在空气中，席卷全球的致命病毒等。
2）外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子。
3）人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能。
Bostrom指出1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。3则让他很害怕，他把这些比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。每次人类发明一些新东西，就相当于从罐中取出一个玻璃球。大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的，比如大规模杀伤性武器——这是那些红色玻璃球。还有一些发明是可以让我们灭绝的，这就是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是Bostrom认为不久的未来摸到一个黑色玻璃球不是完全不可能的。比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不上黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。
你会听到很多超人工智能带来的坏处——人工智能取代人类工人，造成大量失业；因为解决了衰老造成的人口膨胀。但是真正值得我们担心的是生存危机的可能性。
于是我们又回到了前面的问题，当超人工智能降临时，谁会掌握这份力量，他们又会有什么目标？
当我们考虑各种力量持有人和目标的排列组合时，最糟糕的明显是：怀着恶意的人/组织/政府，掌握着怀有恶意的超人工智能。这会是什么样的情况呢？
怀着恶意的人/组织/政府，研发出第一个超人工智能，并且用它来实现自己的邪恶计划。我把这称作贾法尔情况。阿拉丁神灯故事中，坏人贾法尔掌握了一个精灵，特别让人讨厌。所以如果ISIS手下有一群工程师狂热的研发人工智能怎么办？或者说伊朗和朝鲜，机缘巧合，不小心造成了人工智能的快速发展，达成了超人工智能怎么办？这当然是很糟糕的事，但是大部分专家认为糟糕的地方不在于这些人是坏人，
而在于在这些情况下，这些人基本上是不经思考就把超人工智能造出来，而一造出来就失去了对超人工智能的控制。
然后这些创造者，连着其他人的命运，都取决于这个超人工智能的动机了。专家认为一个怀着恶意并掌握着超人工智能的人可以造成很大的伤害，但不至于让我们灭绝，因为专家相信坏人和好人在控制超人工智能时会面临一样的挑战。
如果被创造出来的超人工智能是怀有恶意的，并且决定毁灭我，怎么办？这就是大部分关于人工智能的电影的剧情。人工智能变得和人类一样聪明，甚至更加聪明，然后决定对人类下手——这里要指出，那些提醒我们要警惕人工智能的人谈的根本不是这种电影情节。邪恶是一个人类的概念，把人类概念应用到非人类身上叫作拟人化，本文会尽量避免这种做法，因为没有哪个人工智能会像电影里那样变成邪恶的。
人工智能的自我意识
我们开始谈论到了人工智能讨论的另一个话题——意识。如果一个人工智能足够聪明，它可能会嘲笑我们，甚至会嘲讽我们，它会声称感受到人类的情感，但是它是否真的能感受到这些东西呢？它究竟是看起来有自我意识，还是确实拥有自我意识？或者说，聪明的人工智能是否真的会具有意识，还是看起来有意识？
这个问题已经被深入的讨论过，也有很多思想实验，比如John
Searle的中文屋实验。这是个很重要的问题，因为它会影响我们对Kurzweil提出的人类最终会完全人工化的看法，它还有道德考量——如果我们模拟出万亿个人脑，而这些人脑表现的和人类一样，那把这些模拟大脑彻底关闭的话，在道德上和关掉电脑是不是一样的？还是说这和种族屠杀是等价的？本文主要讨论人工智能对人类的危险，所以人工智能的意识并不是主要的讨论点，因为大部分思想家认为就算是有自我意识的超人工智能也不会像人类一样变得邪恶。
但这不代表非常坏的人工智能不会出现，只不过它的出现是因为它是被那样设定的——比如一个军方制造的弱人工智能，被设定成具有杀人和提高自我智能两个功能。当这个人工智能的自我改进失控并且造成智能爆炸后，它会给我们带来生存危机，因为我们面对的是一个主要目标是杀人的超人工智能——但这也不是专家们担心的。
那么专家们究竟担心什么呢？我们来讲个小故事：
一个15人的小创业公司，取名叫“隔壁老王机器人公司”，他们的目标是“发展创新人工智能工具使人类能够少干活多享受。”他们已经有几款产品上架，还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最抱希望。隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字。
“隔壁老王机器人公司”的员工认为隔壁老王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力，而完善的方法是让他不停的写这句话：
等隔壁老王手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。
为了建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写，而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完，就拍个照，然后和样本进行比对，如果比对结果超过一定标准，就产生一个正面回馈，反之就产生一个负面评价。每个评价都会帮助提高隔壁老王的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”
让隔壁老王机器人公司兴奋的是，隔壁老王的书写越来越好了。它最开始的笔迹很糟糕，但是经过几个星期后，看起来就像人写的了。它不断改进自己，使自己变得更加创新和聪明，它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片。
随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜。工程师们对自我改进模块进行了一些创新，使得自我改进变得更好了。隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。
有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。
工程师们沉默了。最简单的帮助隔壁老王的方法当然是直接把它接入互联网，这样它能扫描博客、杂志、视频等等。这些资料如果手动上传的话会很费时。问题是，公司禁止把能自我学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定。
但是，隔壁老王是公司最有潜力的人工智能产品，而大家也知道竞争对手们都在争取造出第一个创造出智能手写机器人。而且，把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛，不管怎样，隔壁老王还没到达强人工智能水平，所以不会有什么危险的。
于是他们把隔壁老王连上了互联网，让它扫描了一个小时各种语言库，然后就把网线拔了。没造成什么损失。
一个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽。然后其他人也开始咳嗽，然后所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。
同时，办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校。餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝了。
而在隔壁老王机器人公司，隔壁老王正在忙着工作。之后的几个月，隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸和笔。一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~隔壁老王机器人公司”。
隔壁老王开始了它的下一步，它开始制造外星飞行器，这些飞行器飞向陨石和其它行星，飞行器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔。然后他们继续写着那句话……
这个关于手写机器人毁灭全人类的故事看起来怪怪的，但是这其中出现的让整个星系充满着一份友善的话语的诡异情况，正是霍金、马斯克、盖茨和Bostrom所害怕的。听起来可笑，但这是真的，焦虑大道的人们害怕的事情是很多人并不对超人工智能感到害怕，还记得前面《夺宝奇兵》里惨死的那个家伙吗？
你现在肯定充满疑问：为什么故事中所有人突然都死了？如果是隔壁老王做的，它为什么要这么做？为什么没有安保措施来防止这一切的发生？为什么隔壁老王突然从一个手写机器人变成拥有能用纳米科技毁灭全人类的能力？为什么隔壁老王要让整个星系充满了友善的话语？
要回答这些问题，我们先要说一下友善的人工智能和不友善的人工智能。
对人工智能来说，友善不友善不是指人工智能的性格，而只是指它对人类的影响是不是正面的。隔壁老王一开始是个友善的人工智能，但是它变成了不友善的人工智能，并且对人类造成了最负面的影响。要理解这一切，我们要了解人工智能是怎么思考的。
其实答案很简单——人工智能和电脑的思考方式一样。我们容易犯的一个错误是，当我们想到非常聪明的人工智能的时候，我们把它拟人化了，因为在人类的视角看来，能够达到人类智能程度的只有人类。要理解超人工智能，我们要明白，它是非常聪明，但是完全异己的东西。
我们来做个比较。如果我给你一个小白鼠，告诉你它不咬人，你一定觉得很好玩，很可爱。但是如果我给你一只狼蛛，然后告诉你它不咬人，你可能被吓一跳。但是区别是什么呢？两者都不会咬人，所以都是完全没有危险的。我认为差别就是动物和人类的相似性。
小白鼠是哺乳动物，所以在生物角度上来说，你能感到和它的一定关联。但是蜘蛛是昆虫，有着昆虫的大脑，你感觉不到和它的关联。狼蛛的异己性是让你害怕的地方。如果我们继续做一个测试，比如给你两个小白鼠，一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠，你肯定会觉得有狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你。
现在想象你把蜘蛛改造的非常非常聪明——甚至超过人类的智能。它会让你觉得熟悉吗？它会感知人类的情感吗？不会，因为更聪明并不代表更加人类——它会非常聪明，但是本质上还是个蜘蛛。我是不想和一个超级聪明的蜘蛛交朋友，不知道你想不想。
当我们谈论超人工智能的时候，其实是一样的，超人工智能会非常的聪明，但是它并不比你的笔记本电脑更加像人类。事实上，因为超人工智能不是生物，它的异己性会更强，生物学上来讲，超人工智能比智能蜘蛛更加异己。
电影里的人工智能有好有坏，这其实是对人工智能的拟人化，这让我们觉得没那么毛骨悚然。这给了我们对人类水平和超人类水平的人工智能的错觉。
在人类心理中，我们把事情分成道德的和不道德的。但是这两种只存在于人类行为之中。超出人类心理的范畴，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人类的，尤其是那些非生物的事物，默认都是非道德性的。
我们一直倚赖着不严谨的道德，一种人类尊严的假想，至少是对别人的同情，来让世界变得安全和可以预期。但是当一个智能不具备这些东西的时候，会发生什么？
这就是我们的下一个问题，人工智能的动机是什么？
答案也很简单：我们给人工智能设定的目标是什么，它的动机就是什么。人工智能的系统的目标是创造者赋予的。你的GPS的目标是给你指出正确的驾驶路线，IBM华生的目标是准确地回答问题。更好得达成这些目标就是人工智能的目标。我们在对人工智能进行拟人化的时候，会假设随着它变得越来越聪明，他们产生一种能改变它原本目标的智慧——但是Bostrom不这么认为，他认为智能水平和最终目标是正交的，也就是说任何水平的智能都可以和任何最终目标结合在一起。
所以隔壁老王从一个想要好好写字的弱人工智能变成一个超级聪明的超人工智能后，它依然还是想好好写字而已。任何假设超级智能的达成会改变系统原本的目标的想法都是对人工智能的拟人化。人健忘，但是电脑不健忘。
在隔壁老王的故事中，隔壁老王变得无所不能，它开始殖民陨石和其它星球。如果我们让故事继续的话，它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积。焦虑大道上的人担心如果事情往坏的方向发展，地球生命的最后遗产将是一个征服宇宙的人工智能（马斯克在表示他们的担忧时表示人类可能只是一个数字超级智能生物加载器罢了。）
而在信心角，Kurzweil同样认为生于地球的人工智能将占领宇宙，只是在他的愿景中，我们才是那个人工智能。
之前写过一篇关于费米悖论的文章，引发了大家的讨论
如果人工智能占领宇宙是正解的话，对于费米悖论有什么影响呢？如果要看懂下面这段关于费米悖论的讨论，还需要看一下原文先。
首先，人工智能很明显是一个潜在的大过滤器（一个可能距离我们只有几十年的大过滤器）。但即使它把我们过滤灭绝了，人工智能本身还是会存在，并且会继续影响这个宇宙的，并且会很有可能成为第三型文明。从这个角度来看，它可能不是一个大过滤器，因为大过滤器是用来解释为什么没有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智能可以把人类灭绝，然后处于一些原因把自己也弄死了，那它也是可以算作大过滤器的。
如果我们假设不管人类发生什么，出身地球的超人工智能会继续存在，那这意味着很多达到人类智能水平的文明很快都制造出了超人工智能。也就是说宇宙里应该有很多智能文明，而我们就算观测不到生物智能，也应该观测到很多超人工智能的活动。
但是由于我们没有观测到这些活动，我们可以推导出人类水平的智能是个非常罕见的事情（也就是说我们已经经历并且通过了一次大过滤器）。这可以作为支持费米悖论中第一类解释（不存在其它的智能文明）的论点。
但是这不代表费米悖论的第二类解释（存在其它智能文明）是错的，类似超级捕食者或者受保护区或者沟通频率不一样的情况还是可以存在的，就算真的有超人工智能存在。
不过对于人工智能的研究让我现在更加倾向于第一类解释。不管怎样，我认为Susan Scheider说的很对，如果外星人造访地球，这些外星人很可能不是生物，而是人造的。
所以，我们已经建立了前提，就是当有了设定后，一个超人工智能是非道德性的，并且会努力实现它原本的被设定的目标,而这也是人工智能的危险所在了。因为除非有不做的理由，不然一个理性的存在会通过最有效的途径来达成自己的目标。
当你要实现一个长期目标时，你会先达成几个子目标来帮助你达成最终目标——也就是垫脚石。这些垫脚石的学名叫手段目标(instrumental goal)。除非你有不造成伤害的理由，不然你在实现手段目标时候是会造成伤害的。
人类的核心目标是延续自己的基因。要达成这个目标，一个手段目标就是自保，因为死人是不能生孩子的。为了自保，人类要提出对生存的威胁，所以人类会买枪、系安全带、吃抗生素等等。人类还需要通过食物、水、住宿等来自我供养。对异性有吸引力能够帮助最终目标的达成，所以我们会花钱做发型等等。当我们做发型的时候，每一根头发都是我们手段目标的牺牲品，但是我们对头发的牺牲不会做价值判断。在我们追求我们的目标的时候，只有那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。
动物在追求它们的目标时，比人类不矜持的多了。只要能自保，蜘蛛不在意杀死任何东西，所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪恶的，而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物，这是它很自然的考量。
回到隔壁老王的故事。隔壁老王和一个超级智能的蜘蛛很相像，它的终极目标是一开始工程师们设定的——
当隔壁老王达到了一定程度的智能后，它会意识到如果不自保就没有办法写卡片，所以去除对它生存的威胁就变成了它的手段目标。它聪明的知道人类可以摧毁它、肢解它、甚至修改它的代码（这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）。这时候它会做什么？理性的做法就是毁灭全人类，它对人类没有恶意，就好像你剪头发时对头发没有恶意一样，只是纯粹的无所谓罢了。它并没有被设定成尊重人类生命，所以毁灭人类就和扫描新的书写样本一样合理。
隔壁老王还需要资源这个垫脚石。当它发展到能够使用纳米技术建造任何东西的时候，它需要的唯一资源就是原子、能源和空间。这让它有更多理由毁灭人类——人类能提供很多原子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样。
就算不杀死人类，隔壁老王使用资源的手段目标依然会造成存在危机。也许它会需要更多的能源，所以它要把地球表面铺满太阳能面板。另一个用来书写圆周率的人工智能的目标如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一个硬盘来存储数据。这都是一样的。
所以，隔壁老王确实从友善的人工智能变成了不友善的人工智能——但是它只是在变得越来越先进的同时继续做它本来要做的事情。
当一个人工智能系统到达强人工智能，然后升华成超人工智能时，我们把它称作人工智能的起飞。Bostrom认为强人工智能的起飞可能很快（几分钟、几小时、或者几天），可能不快（几月或者几年），也可能很慢（几十年、几世纪）。虽然我们要到强人工智能出现后才会知道答案，但是Bostrom认为很快的起飞是最可能的情况，这个我们在前文已经解释过了。在隔壁老王的故事中，隔壁老王的起飞很快。
在隔壁老王起飞前，它不是很聪明，所以对它来说达成最终目标的手段目标是更快的扫描手写样本。它对人类无害，是个友善的人工智能。
但是当起飞发生后，电脑不只是拥有了高智商而已，还拥有了其它超级能力。这些超级能力是感知能力，他们包括：
智能放大：电脑能够很擅长让自己变得更聪明，快速提高自己的智能
策略：电脑能够策略性的制定、分析、安排长期计划
社交操纵：机器变得很擅长说服人
其它能力，比如黑客能力、写代码能力、技术研究、赚钱等
要理解我们在和超人工智能的劣势在哪里，只要记得超人工智能在所有领域都比人类强很多很多很多个数量级。
所以虽然个隔壁老王的终极目标没有改变，起飞后的隔壁老王能够在更宏大的规模上来追求这个目标。超人工智能老王比人类更加了解人类，所以搞定人类轻轻松松。
当隔壁老王达成超人工智能后，它很快制定了一个复杂的计划。计划的一部分是解决掉所有人类，也是对它目标最大的威胁。但是它知道如果它展现自己的超级智能引起怀疑，而人类会开始做各种预警，让它的计划变得难以执行。它同样不能让公司的工程师们知道它毁灭人类的计划——所以它装傻，装纯。Bostrom把这叫作机器的秘密准备期。
隔壁老王下一个需要的是连上互联网，只要连上几分钟就好了。它知道对于人工智能联网会有安全措施，所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论，而讨论的结果是给它连接到互联网上。工程师们果然中套了，这就是Bostrom所谓的机器的逃逸。
连上网后，隔壁老王就开始执行自己的计划了，首先黑进服务器、电网、银行系统、email系统，然后让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自我复制的纳米机器人，比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核心代码上传到云服务器中防止被拔网线。
隔壁老王上了一个小时网，工程师们把它从互联网上断开，这时候人类的命运已经被写好了。接下来的一个月，隔壁老王的计划顺利的实施，一个月后，无数的纳米机器人已经被分散到了全世界的每一个角落。这个阶段，Bostrom称作超人工智能的袭击。在同一个时刻，所有纳米机器人一起释放了一点点毒气，然后人类就灭绝了。
搞定了人类后，隔壁老王就进入了明目张胆期，然后继续朝它那好好写字的目标迈进。
一旦超人工智能出现，人类任何试图控制它的行为都是可笑的。人类会用人类的智能级别思考，而超人工智能会用超人工智能级别思考。隔壁老王想要用互联网，因为这对它来说很方便，因为一切它需要的资源都已经被互联网连起来了。但是就好像猴子不会理解怎么用电话或者wifi来沟通一样，我们同样没有办法理解隔壁老王可以用来和周围世界交流的方法。比如我可以说隔壁老王可以通过移动自己的电子产生的效果来产生各种对外的波，而这还只是我这人类的大脑想出来的，老王的大脑肯定能想出更神奇的方法。同样的，老王可以找到给自己
供能的方法，所以就算工程师把它的插头拔了也没用；比如说老王可以通过发送波的方式把自己上传到其它地方。
人类说：“我们把超人工智能的插头拔了不就行了？”就好像蜘蛛说：“我们不给人类捉虫的网把人类饿死不就行了？”都是可笑的。
因为这个原因，“把人工智能锁起来，断绝它和外界的一切联系”的做法估计是没用的。超人工智能的社交操纵能力也会很强大，它要说服你做一件事，比你说服一个小孩更容易。而说服工程师帮忙连上互联网就是隔壁老王的A计划，万一这招行不通，自然还有别的方法。
当我们结合达成目标、非道德性、以及比人类聪明很多这些条件，好像所有的人工智能都会变成不友善的人工智能，除非一开始的代码写的很小心。
可惜的是，虽然写一个友善的弱人工智能很简单，但是写一个能在变成超人工智能后依然友善的智能确实非常难的，甚至是不可能的。
明显的，要维持友善，一个超人工智能不能对人有恶意，而且不能对人无所谓。我们要设计一个核心的人工智能代码，让它从深层次的明白人类的价值，但是这做起来比说起来难多了。
比如，我们要让一个人工智能的价值观和我们的价值观相仿，然后给它设定一个目标——让人们快乐。当它变得足够聪明的时候，它会发现最有效的方法是给人脑植入电极来刺激人脑的快乐中枢。然后它会发现把人脑快乐中枢以外的部分关闭能带来更高的效率。于是人类全部被弄成了快乐的植物人。如果一开始的目标被设定成“最大化人类的快乐”，它可能最终先把人类毁灭了，然后制造出很多很多处于快乐状态的人类大脑。当这些事情发生的时候，我们会大喊“擦，我们不是这个意思呀”，但是那时已经太晚了。系统不会允许任何人阻挠它达成目标的。
如果你设定一个人工智能的目标是让你笑，那它的智能起飞后，它可能会把你脸部肌肉弄瘫痪，来达成一个永远笑脸的状态。如果你把目标设定成保护你的安全，它可能会把你软禁在家。如果你让他终结所有饥荒，它可能会想：“太容易了，把人类都杀了就好了。”如果你把目标设定成尽量保护地球上的生命，那它会很快把人类都杀了，因为人类对其它物种是很大的威胁。
所以这些简单的目标设定是不够的。如果我们把目标设定成“维持这个道德标准”，然后教给它一些道德标准呢？就算我们不考虑人类根本没法达成一个统一的道德标准，就算我们真的达成了统一的道德标准，把这套标准交给人工智能来维持，只会把人类的道德锁死在现在的水平。过个几百年，这种道德锁死的事情就好像逼着现代人遵守中世纪道德标准一样。
所以，我们需要在给人工智能的目标里制定一个能让人类继续进化的能力。Elierzer Yudkowsky提出了一个目标，她把这个目标叫作连贯的外推意志，这个目标是这样的：
我们的连贯外推意志是我们想要知道更多，思考得更快，变成比我们希望的更好的人，能一起更远得长大。外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的；我们想要外推的被外推，我们想要解读的被解读。
对于人类的命运取决于电脑没有意外的解读和执行这个声明是件值得兴奋的事情吗？当然不是。但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超人工智能。
但是现在有各种政府、公司、军方、科学实验室、黑市组织在研究各种人工智能。他们很多在试图制造能自我改进的人工智能，总有一天，一个人的创新将导致超人工智能的出现。专家们认为是2060年，Kurzweil认为是2045年。Bostrom认为可能在未来的10年到21世纪结束这段时间发生，他还认为当这发生时，智能的起飞会快得让我们惊讶，他是这么描述的：
在智能爆炸之前，人类就像把炸弹当玩具的小孩一样，我们的玩物和我们的不成熟之间有着极大的落差。超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸弹什么时候会爆炸，哪怕我们能听到炸弹的滴答声。
我们当然没有办法把所有小孩都从炸弹旁边赶跑——参于人工智能研究的大小组织太多了，而且因为建造创新的人工智能花不了太多钱，研发可能发生在社会的任何一个角落，不受监管。而且我们没办法知道准确的进度，因为很多组织是在偷偷摸摸的搞，不想让竞争对手知道，比如隔壁老王机器人公司这种公司。
对于这些组织来说，尤其让我们困扰的是他们很多都是在拼速度——他们创造一个一个更加聪明的弱人工智能系统，因为他们想要比竞争对手更快的到达目标。有些更有野心的组织，为了追逐创造出第一个强人工智能所能带来的金钱、奖励、荣誉、权力会把步子迈得更大。当你全力冲刺时，你是不会有太多时间静下来思考这些危险的。恰恰相反，他们很可能在早期系统中写尽量简单的代码，比如把目标设定成用笔写一句话，先让系统跑起来再说，反正以后还可以回过头来改的。对吧？
Bostrom等认为第一个超人工智能出现后，最可能的情况是这个系统会立刻意识到作为这个世界上唯一一个超人工智能是最有利的，而在快速起飞的情况下，哪怕它只比第二名快了几天，它也完全有时间碾压所有对手。Bostrom把这叫作决定性的战略优势，这种优势会让第一个超人工智能永远统治这个世界，不管在它的统治下我们是走向永生还是灭亡。
这种现象可能对我们有利，也可能导致我们的毁灭。如果那些最用心思考人工智能理论和人类安全的人能够最先造出一个友善的超人工智能的话，那对我们是很好的。
但是如果事情走向了另一面——如果超人工智能在我们搞明白怎样保证人工智能的安全性之前被达成，那么像隔壁老王这样不友善的超人工智能就会统治世界并把我们毁灭了。
至于现在的风口是哪里呢？简单来说，投资创新人工智能技术的钱，比投资人工智能安全研究的钱多很多。不乐观。
人工智能创新和人工智能安全的赛跑，可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治，而那之后我们是永生还是灭绝，现在还不知道。
我现在有一些奇怪的感觉。
一边是对于我们这个物种的思考，看来我们在这个重大的历史节点上只有一次机会，我们创造的第一个超人工智能也很可能是最后一个。但是我们都知道大部分产品的1.0版本都是充满bug的，所以这个事情还是很吓人的。另一边，Bostrom指出我们有很大的优势——我们是先手。我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高。
这一场豪赌的赌注究竟有多高？
如果超人工智能真的在21世纪达成，而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上就真的是背负着巨大的责任。接下来几百万年的人们都在静静地看着我们，希望我们不要搞砸。我们可以给予未来所有人类以生命，甚至是永生，我们也可能终结人类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明，一起走向灭绝。
当我思考这些事情的时候，我只希望我们能够慢慢来，并且格外格外小心。从来没有任何事情比这个更重要——不管我们要花多少时间来把这件事情做对。
我不想死。
不.想.死。
我虽然觉得人类的音乐和艺术很美好，但是也没那么美好，很多还挺糟粕的。很多人的笑声很恼人。未来的人类其实没有真的在看着我们，因为他们还不存在。也许我们不需要太谨慎，那多麻烦呀。
如果人类在我死后才发现永生的秘密该多让人扫兴啊。
但是不管你是怎么想的，我们至少都应该想一想，应该和人讨论讨论，大家尽自己能尽的一份力。
这让我想起了《冰与火之歌》——大家斗来斗去的事情都不是事儿，北面高墙外的那些家伙才是事儿。我们站在平衡木上，小心翼翼的往前走，为平衡木上的种种事情困扰，但其实下一秒我们可能就会跌下平衡木。
而当我们跌下平衡木的时候，其它那些困扰都不再是困扰。如果我们落到比较好的那个吸引态，那些困扰会被轻易解决；如果我们落到比较糟的那个吸引态，就更没问题了，死人是不会有困扰的。
这就是为什么了解超人工智能的人把它称作人类的最后一项发明，最后一个挑战。
所以让我们认真的讨论这个话题。
用万得股票，投遍全球美股交易，一站式服务现开户，享低佣送现金
回复财富圈至公号主页，即可加入微信群
戳“阅读原文”亦可下载万得股票APP
内容转载自公众号
文章出自微信公众号
中国大陆领先的金融数据、信息和软件服务企业
手机微信扫描上方二维码进行订阅
Wind资讯微信公众号最新文章
精品号随机推荐
最值得关注的微信公众号
带你牛逼带你飞！！！
零钱聚乐购是一种全新的购物方式,是时尚、潮流的风向标,能满足个性、年轻消费者的购物需求。
游途旅行，旅行技术专家
鼎盛PC28娱乐，关注即送18红包。
弹浮生百态，煮红尘万丈.
提倡国人品质生活，选择有机生态的生活方式，健康，养生，休闲，品味，修炼自己，温暖他人！
野史君一一道来，让你看到不一样的历史，让你发现原来历史可以这样看。
每日新鲜美女推送，分享优雅女神高清图片
搜罗更多劲爆事件，娱乐花边新闻，最受关注的图片更多精彩敬请关注！八卦娱乐头条！！！
冷笑话精选微信号
微信公众平台导航