深入浅出BP神经网络算法的原理共识算法的原理是什么?

511 条评论分享收藏感谢收起赞同 172 条评论分享收藏感谢收起&p&以下全部是个人对区块链的认知,为了避免广告嫌疑,很多的地方我只能写的模糊点啦。因为自己发过一篇类似的文章,结果被举报是有广告嫌疑,唉,真心的分享,希望知乎大哥大姐明察。&/p&&p&
最近一直在研究区块链,之前做了3年的php开发,感觉最近区块链来的有点猛啊,太火了,很多美国知名大学把区块链技术加入课程列表。现在各领域涌现出对区块链专业知识的需求,区块链可以应用在金融行业、征信系统、供应链、在线音乐、房地产、医疗等等各个行业。关键现在是没有相关区块链人才啊,弄的自己都想去学习区块链了,现在国内国外很多的公司都是百万年薪招区块链人才。&/p&&p&为什么会出现这样的用工荒,其实原因很简单,就是懂区块链的太少了,先给大家普及一下区块链的知识。区块链技术是指通过去中心化和去信任的方式集体维护一个可靠数据库的技术,可以用4个关键词去形容:去中心化(Decentralized)、去信任(Trustless)、集体维护(Collectively maintain)、可靠数据库(Reliable Database)。&/p&&p&区块链又分为以下几种:&/p&&p&1、公开区块链(public blockchain) 例子:比特币,Ethereum Frontier。公开区块链上的数据所有人都可以访问,所有人都可以发出交易等待被写入区块链。共识过程的参与者(对应比特币中的矿工)通过密码学技术以及内建的经济激励维护数据库的安全。公开区块链是完全的分布式。&/p&&p&2、协作区块链(federated blockchain) 例子:Hyperledger以及德勤等会计所尝试的审计系统。参与区块链的节点是事先选择好的,节点间很可能是有很好的网络连接。这样的区块链上可以采用非工作量证明的其他共识算法,比如有100家金融机构之间建立了某个区块链,规定必须67个以上的机构同意才算达成共识。这样的区块链上的数据可以是公开的也可以是这些节点参与者内部。部分意义上的分布式。&/p&&p&3、私有区块链(private blockchain) 例子:Eris Industries。参与的节点只有用户自己,数据的访问和使用有严格的权限管理。近期部分金融机构公布的内部使用的区块链技术大都语焉不详,不过很可能都在这个范围内。&/p&&p&&b&关于区块链本身的知识就说到这里吧,网上和知乎上有很多的文章在介绍,我就不在此累赘了。因为自己最近也在学习研究区块链,接下来就给大家分享一下自己关于区块链学习的一些经验。以下共3种学习的方式,大家可以根据自己的实际情况去选择:(1)看书;(2)看视频;(3)找人带或者参加培训&/b&&/p&&p&&br&&/p&&p&&b&第一:看书&/b&&/p&&p&&br&&/p&&p&给大家说一些自己曾经看过的,感觉比较有价值的书目&/p&&p&&br&&/p&&p&(1).《精通比特币》原版名《Mastering Bitcoin》,了解比特币的最佳之选。在线阅读:介绍 | 精通比特币&/p&&p&&br&&/p&&p&(2).《区块链——从数字货币到信用社会》 了解区块链概念的不错的一本书,多位行业大咖倾力合作而成。&/p&&p&&br&&/p&&p&(3).《深入浅出以太坊》
对以太坊研究较深的汪晓明所做,可以系统了解和学习以太坊。&/p&&p&&br&&/p&&p&(4).《区块链开发者指南(待出版)》 期待已久,由申屠青春和汪晓明两位行业大牛主编,可以盯着,出版买一本学习学习。&/p&&p&&br&&/p&&p&除了看书,再给大家推荐一些文章&/p&&p&&b&(1)【区块链之菜鸟入门】系列文章&/b&&/p&&p&1)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60131& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&亲,你淘的区块链到了!&/a&&/u&&/p&&p&2)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60132& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链发展史:从拜占庭将军问题到智慧契约&/a&&/u& &/p&&p&3)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60134& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&来来来,这篇科普告诉你“区块链”到底是个啥?&/a&&/u& &/p&&p&4)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60141& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链——颠覆式创新技术 &/a&&/u&&/p&&p&&b&(2)【区块链之技术进阶】系列文章&/b&&/p&&p&1)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60201& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链:通往互联网第二纪元的革命&/a&&/u& &/p&&p&2)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60207%3Fspm%3D.blogcontjXTJd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&金融的未来,区块链将用于何方?&/a&&/u&&/p&&p&3)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60218& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&让这篇技术贴告诉你区块链是怎么运行的&/a&&/u&&/p&&p&4)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60232& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&扒一扒某乎上面对于区块链的理解(一)&/a&&/u&&/p&&p&5)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60258& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&扒一扒某乎上面对于区块链的理解(二)&/a&&/u&&/p&&p&6)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60399& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&从技术现实理解区块链:基于SQL模型创建BQL&/a&&/u&&/p&&p&7)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60400& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&掰一掰区块链共识机制与分布式一致性算法&/a&&/u&&/p&&p&8)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60401%3Fspm%3D.blogcontjXTJd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Attention please!区块链技术的风险! &/a&&/u&&/p&&p&&b&(3)【区块链之技术实战】系列文章&/b&&/p&&p&1)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60425& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&群雄激辩区块链&/a&&/u&&/p&&p&2)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60428& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&颠覆银行基础架构的区块链&/a&&/u&&/p&&p&3)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60435& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在金融领域,区块链该咋用呢?&/a&&/u&&/p&&p&4)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60443& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链开源项目合集:Hello,BlockChain!&/a&&/u&&/p&&p&5)&u&&a href=&//link.zhihu.com/?target=https%3A//lin%3C/u%3Ek.zhihu.com/%3Ftarget%3Dhttps%3A//yq.aliyun.com/articles/60513& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&有了区块链做公益,再也不用担心我的捐款啦 &/a&&/u&&/p&&p&&b&4)【区块链与未来】系列文章&/b& &/p&&p&1)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60541& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链只与互联网+金融有关?让法律人和你聊聊 &/a&&/u&&/p&&p&2)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60545& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&“区块链+”火花四溅的未来 &/a&&/u&&/p&&p&3)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60550& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&&公共记账簿&?哼,区块链远比你想象的强大的多&/a&&/u& &/p&&p&4)&u&&a href=&//link.zhihu.com/?target=https%3A//yq.aliyun.com/articles/60564& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链技术将重塑我们的世界&/a&&/u&&/p&&p&&br&&/p&&p&&b&第二:看视频&/b&&/p&&p&&br&&/p&&p&(1)火币网李林的区块链是什么&/p&&p&&u&&a href=&//link.zhihu.com/?target=http%3A//m.youku.com/video/id_XMTQwODE4NDAyNA%3D%3D.html%3Fspm%3Da2h0j.8191439.Recommend.1%7E3%212%7EA& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&m.youku.com/video/id_XM&/span&&span class=&invisible&&TQwODE4NDAyNA==.html?spm=a2h0j.8191439.Recommend.1~3!2~A&/span&&span class=&ellipsis&&&/span&&/a&&/u&&/p&&p&(2)比特币原理概要–非技术版&/p&&p&&u&&a href=&//link.zhihu.com/?target=http%3A//video.8btc.com/video/34555& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&video.8btc.com/video/34&/span&&span class=&invisible&&555&/span&&span class=&ellipsis&&&/span&&/a&&/u&&/p&&p&(3)比特币底层原理 &/p&&p&&u&&a href=&//link.zhihu.com/?target=http%3A//video.8btc.com/video/31288& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&video.8btc.com/video/31&/span&&span class=&invisible&&288&/span&&span class=&ellipsis&&&/span&&/a&&/u&&/p&&p&(4)以太坊技术视频系列(汪晓明)
&/p&&p&&u&&a href=&//link.zhihu.com/?target=http%3A//ethcast.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&ethcast.com/&/span&&span class=&invisible&&&/span&&/a&&/u&&/p&&p&(5)小蚁的价值体现在哪里 &/p&&p&&u&&a href=&//link.zhihu.com/?target=https%3A//m.v.qq.com/x/page/c/m/v/c0319zih9mv.html%3Fptag%3Dv.qq.com%2523v.play.adaptor%25232%26mreferrer%3Dhttp%253A%252F%252Fv.qq.com%252Fvplus%252Fbecea88bc%253F_wv%253D1031& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&https://m.v.qq.com/x/page/c/m/v/c0319zih9mv.html?ptag=v.qq.com%23v.play.adaptor%232&mreferrer=http%3A%2F%2Fv.qq.com%2Fvplus%2Fbecea88bc%3F_wv%3D1031&/a&&/u&&/p&&p&&br&&/p&&p&&b&第三:找人带或者参加培训&/b&&/p&&p&&br&&/p&&p&&b&(1)小蚁开发学院&/b&&/p&&p&&br&&/p&&p&技术出身的可以去小蚁开发学院&u&&a href=&//link.zhihu.com/?target=https%3A//www.antshares.org/school& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&https://www.antsh.org/school&/a&&/u&,适合有一定基础的开发工作者去学习。&/p&&p&&br&&/p&&p&&b&(2)朵朵学院&/b&&/p&&p&&br&&/p&&p&老蘑菇独撑的朵朵学院&a href=&//link.zhihu.com/?target=http%3A//www.wanbizu.com/p/37467.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&wanbizu.com/p/37467.htm&/span&&span class=&invisible&&l&/span&&span class=&ellipsis&&&/span&&/a&,在淘宝可以买到系列教程,课程不贵,对大家还是比较有用的。&/p&&p&&br&&/p&&p&&b&(3)海绵学堂&/b&&/p&&p&&b&海绵学堂&u&&a href=&//link.zhihu.com/?target=http%3A//www.51haimian.cn/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&www.51haimian.cn&/a&&/u&&/b&是最近刚发现的一所线下培训机构,号称是全国首家做区块链培训的机构,比较适合系统的学习一下区块链,找个老司机带,上手会快一些,入行容易些。&/p&&p&&br&&/p&&p&以上就是自己总结的学习区块链技术的一些方法和手段,自己自学了有3个月,发现自学是一件非常痛苦的事情,关键是自己的自控力差啊,希望找个志同道合一起学习交流,相互督促,有想法的和小窗私我。&/p&
以下全部是个人对区块链的认知,为了避免广告嫌疑,很多的地方我只能写的模糊点啦。因为自己发过一篇类似的文章,结果被举报是有广告嫌疑,唉,真心的分享,希望知乎大哥大姐明察。 最近一直在研究区块链,之前做了3年的php开发,感觉最近区块链来的有点猛…
&p&首先要搞清一个问题——比特币是区块链,但是区块链并不是比特币。&/p&&p&于是,在区块链的这个问题回答里,提到“矿工”,“挖矿”,“最长链”,“分叉”等等词的,其实都不准确。&/p&&p&写一点上个月讲课的内容——个人觉得大部分的回答,包括google搜出来的或者wiki的,都不能很好地解释区块链是个什么东西。因为讲比特币的人很多,懂比特币的人也很多,但是具体到区块链,现在并没有一个很清楚的定义说什么是区块链,基本上所有的介绍里都是这样的:&/p&&p&比特币——〉区块链是比特币的底层技术。&/p&&p&或者&/p&&p&比特币——〉比特币是一种区块链。&/p&&p&具体到什么是区块链的问题,目前没有看到很好的定义和介绍,更多的是大而化之地讲区块链的意义在哪里的空泛文章,要不然就是一水的矿工和挖矿。所以我来从纯理论角度说一下我个人对区块链的定义:&/p&&p&&b&1,区块链是一个放在非安全环境中的分布式数据库(系统)。&/b&&/p&&p&&b&2,区块链采用密码学的方法来保证已有数据不可能被篡改。&/b&&/p&&p&&b&3,区块链采用共识算法来对于新增数据达成共识。&/b&&/p&&p&&b&具有以上三个性质的系统,就是区块链。&/b&&/p&&br&&br&&p&&b&1,区块链是一个放在非安全环境中的分布式数据库(系统)。&/b&&/p&&p&这里的要点有两个:(1)分布式,(2)非安全环境。&/p&&p&首先,这是一个分布式的,去中心化的系统。所以,有一个中心服务器或者节点的,不是区块链。节点都是安全的,无恶意的,那这不是区块链。同理,从应用的角度讲,如果你的应用必须要使用中心节点(例如要用超级计算机做深度学习)或者没必要考虑节点不安全的情况(例如某个安全的工厂里的传感器),那么并不需要考虑区块链技术。&/p&&p&至于后面的词“数据库”,目前大部分成熟的区块链都是数据库,例如比特币就是一个分布式账本,而账本其实就是数据。然后,根据数据的格式,又可以分三种——1,数据是完全不相关的,只是达成的共识,没有有效无效之分;2,数据有某些逻辑结构,例如账本中,一笔交易实际上除了金额,还有输入和输出,连接到之前的交易,这些数据需要通过逻辑验证(例如交易中,节点需要验证输入的交易是否有效);3,数据拥有图灵完备的逻辑,而验证的时候需要通过节点使用算力运算,每笔交易可以有不同的输出和状态,每个节点要做的不仅仅是验证交易的真实性和输入的正确性,还要根据交易里的逻辑读入数值,进行验算然后再验证结果。&/p&&p&比特币的系统就是第二种,又叫分布式账本;以太坊是第三种。第三种可以支持智能合约。&/p&&p&用比特币举例的话,1,它是一个完全去中心化的系统,2,它放在一个非安全的环境,它并不要求所有使用比特币的人都没有恶意。&/p&&br&&p&&b&2,区块链采用密码学的方法来保证已有数据不可能被篡改。&/b&&/p&&p&这个是误解最多的部分,因为很多人一提到区块链就只觉得是这个。诚然,这部分很重要,而且确实区块链也因此得名,但这只是区块链的定义的一部分。&/p&&p&这个部分的两个核心要点是:(1)密码学哈希函数,(2)非对称加密。&/p&&p&两个都是密码学的基础概念,网上都有非常清晰的定义,我只简单说下:&/p&&p&(密码学)哈希函数:一个函数Y=H(X),有如下性质:1,有X可以很容易算出Y;2,有Y不可能算出X;3,有Y不可能找到另一个X'使得H(X')=Y;3.5,如果X和X'相差很小,H(X)和H(X')则完全不相关。&/p&&p&这东西主要用于验证信息完整性——在一个信息后面放上这个信息的哈希值,这个值很小,例如256bit,而且计算方便。收到信息之后收信人再算一遍哈希值,对比两者就知道这条信息是否被篡改过了。如果被篡改过,哪怕只有一bit,整个哈希值也会截然不同。而根据哈希函数的性质,没有人能够伪造出另一个消息具有同样的哈希值,也就是说篡改过的数据完全不可能通过哈希校验。&/p&&p&非对称加密:这东西很好理解——对称加密就是有个密钥,可以理解成保险箱钥匙,你把消息加密变成密文,没有人能看懂这是啥,然后同一把钥匙解密成原来的消息。&/p&&p&非对称加密就是有两把钥匙,一把叫公钥,一把叫私钥,用其中一把加密的话,只能用另一把解密,反之亦然。另一个重要的性质是,给你密文,明文和其中一把钥匙,你还是解不出来另一把钥匙是啥。原理基本上是基于一些困难数学问题,例如因数分解和离散对数,常用的有RSA,Diffie-Hellman和ECC(椭圆曲线),比特币用的是椭圆曲线。&/p&&p&非对称加密除了和对称加密一样用于信息加密之外,还有另一个用途,就是身份验证。因为通常情况我们假设一对公私钥,公钥是公开的,而私钥只有本人有,于是一个人如果有对应的私钥,我们就可以认定他是本人。其中一个重要的应用就是数字签名——某个消息后面,发信人对这个消息做哈希运算,然后用私钥加密。接着收信人首先对消息进行哈希运算,接着用相应的公钥解密数字签名,再对比两个哈希值,如果相同,就代表这个消息是本人发出的而且没有被篡改过。&/p&&br&&p&以上是基础知识,至于区块链怎么实现的,很简单:&/p&&p&交易(数据)写在区块里。&/p&&p&第一个区块叫创世区块,写啥都行。&/p&&p&从第二个区块开始,每个区块的第一部分有前一区块的哈希值。此外,区块里的每一笔交易(数据),都有发起人的数字签名来保证真实性和合法性。于是,先前区块里的任何数据都不可被篡改,原因见上。&/p&&br&&p&到这为止有人可能会问:为什么要弄个链啊?直接所有数据加个哈希值不就行了?&/p&&p&因为——这个数据库并不是静止的啊。&/p&&p&数据库的数据是会增加的,而每次增加的数据,就是一个区块,于是这些生成时间不同的区块,就以这种形式链在一起了。&/p&&p&至于如何增加区块,就涉及到第三个部分——共识算法。&/p&&br&&p&&b&3,区块链采用共识算法来对于新增数据达成共识。&/b&&/p&&br&&p&共识算法的目的,就是让所有节点对于新增区块达成共识,也就是说,所有人都要认可新增的区块。对于有中心的系统,这事很简单,中心说什么大家同意就好了,但是放到去中心化系统里,尤其是当有些节点有恶意的时候,这东西非常复杂,计算机科学里有个相应的问题,叫做“拜占庭将军问题”或者“拜占庭容错”(BFT)。&/p&&p&有很多用Lamport给出的那个例子来讲BFT的东西,我在这里换一个角度。&/p&&p&Lamport大神当年提出这个问题的时候在斯坦福研究中心给NASA做项目,他提出这个问题的原因并不是考虑类似比特币的应用场景(整个互联网成千上万个用户),而是考虑特殊背景下的一个简单的系统——&/p&&p&航天飞机的控制系统。&/p&&p&如果有航空背景的同学可能知道,飞机有三套独立的控制系统,为什么呢?因为任何系统都不可能完全不出故障,就算飞机控制系统的故障率已经极低了,还是有飞到一半这东西坏了的可能。于是我们可以弄两套独立的系统,同时坏掉的几率就会大大降低。&/p&&p&可是两套独立的系统还是不足以容下一个系统的错误——一架飞机迎面飞来,两套系统一个说要躲,一个说不躲,那到底是躲还是不躲呢?所以我们需要三台独立的系统,这样,如果有一个系统有故障了,还有两台能正常工作,能少数服从多数给出正确的结果。学过纠错码的同学对这个应该不陌生,这个系统的输出之间的汉明间距是3,所以可以纠正一位的错误。&/p&&p&然而,对于航天飞机,在冷战的背景下,万一某个系统不是坏掉了,而是被敌人控制了呢?三套系统还够吗?&/p&&p&答案是否定的,因为不同于单纯只是坏掉的节点,恶意节点可以做一些别的事来阻止整个系统达成共识。&/p&&p&这个部分略复杂要讲的话要单开一帖,所以我们只说最简单的情况(无签名同步系统)。&/p&&p&我们管三个系统叫ABC,正常工作流程是三个人每次得出结果就互相告诉一下,然后每个人选多数人同意的结果。这是个没有中央节点的分布式系统,也就是说三人不能聚在一起开个会啥的,仨人只能两两通信。这个时候,假设C有恶意,它的目标是破坏这个系统。于是,假设正确的读数是1,A和B都得出了1这个结果,这个时候C这个小婊砸告诉A说“我的结果是0,B也觉得是0”,同时打个电话跟B说“哎我觉得是0,A也这么说”,于是A和B就懵逼了。假设你是A,你听到了两个不同版本的B的答案,B说自己选了1,C说B选了0,可是A这个时候没法知道B和C谁才是那个骗了自己的小婊砸,因为如果B真的告诉A选了1然后告诉C是0,他听到的结果和现在是一模一样的。&/p&&p&于是结论是,拜占庭容错,也就是需要容下一个恶意系统而非错误系统,需要4个独立系统。&/p&&p&(当然,签名可以解决这个问题,但是这只是同步系统的情况,在异步系统里这问题会变得更加复杂,原因是正常节点的回答有延迟,而恶意节点可以不回复,所以,正常节点一方面要等另一个节点的回复,但是它又不知道对方会不会回复因为对方有可能会有恶意,而在收到回复之前,它完全没法判断对方是正常节点还是恶意节点,这个问题叫异步BFT,也是BFT的最复杂的情况,这里不再做更多的解释,下文提到的BFT算法,其实都是异步BFT的算法)&/p&&p&Lamport提出这个问题之后,有无数的算法被提出来,统称BFT(拜占庭容错)算法,其中最有代表性的叫PBFT,然后由于最近区块链的热度,无数针对区块链应用场景优化过的BFT算法也涌现出来,但是一个重要的问题是,所有目前的BFT算法,都只能应用在小型网络里。原因很简单——因为BFT这个问题是设计给类似于航天飞机控制系统这样的场景的,早期的算法考虑的也主要是这种场景。PBFT论文里考虑的就是一个5个节点的系统。就算算上新提出的BFT算法,也最多应用在不超过100个节点的网络里。&/p&&p&这个问题被搁置了很久,直到比特币的诞生——中本聪从某种意义上简化了这个问题,在比特币中,同样是共识问题,中本聪引入了一个重要的假设——奖励,他之所以能这样做的原因是,他考虑的是一个数字货币,也就是说共识这个东西是有价值的。&/p&&p&于是在这样的系统上,他提出了工作证明机制。&/p&&p&所有挖矿,矿工,最长链,分叉等等等等,都可以归结为一句话:&/p&&p&&i&说话是要有代价的,说真话是有好处的,说假话是要扣钱的……&/i&&/p&&p&这就是目前两类共识算法的核心区别:&/p&&p&BFT共识模型:恶意节点可以干任何事。&/p&&p&比特币共识模型:模型中有公认的“价值”,每个节点说话都需要一定代价,诚实节点会受到奖励,而恶意节点由于只付出代价而收不到奖励,变相受到了惩罚。&/p&&p&也就是说,BFT共识模型其实涵盖了比特币共识模型的场景,比特币共识其实放宽了BFT共识模型的限制。&/p&&p&比特币共识对于BFT的优势在于,由于给恶意节点的能力做了限制,恶意节点所能造成的破坏大大降低了,尤其是对于异步系统——BFT共识里恶意节点可以一直拒绝相应而诚实节点还需要一直等它(因为不知道它是不是恶意的),而对于比特币共识,随你便,你不响应就没有奖励可拿。于是,比特币共识算法可以应用于成千上万个节点,而且,任何人随时都可以加入,不需要预先在网络里注册自己的身份(而BFT算法里,网络中节点的数量和身份都必须是已知的)。&/p&&p&但比特币共识的缺陷在于,首先,得有个有价值的东西,也就是说放在比特币里这东西还行,以太坊的话现在可能也凑合,但是其他数字货币嘛……BFT共识有个严格的限定,就是恶意节点不能超过总数的1/3,然而其实比特币共识没有这样的限制,唯一的限制就是假定大部分节点都是理性的,是逐利的,也就是会采用最佳的策略来赚取最大的价值。所以,严格来说,自私挖矿这种行为在比特币共识里是允许的,而多数攻击,其实也算不上一种攻击,因为这些都没有突破比特币共识的框架——如果这个价值无限大,比特币共识是非常可靠的。然而这并不是事实,因为并不是每个虚拟货币都和比特币一样值钱,而在价值不高的情况下,比特币共识的前提就站不住脚了——当损失可能是几千上万块钱的时候,假定每个人都是理性的是合理,但是如果损失就几分钱这个假设就相当扯淡了,事实上也发生过一个比特币矿池跑到另一个货币恶意挖矿搞垮对手的情况。&/p&&p&此外,比特币共识是最长链共识,也就是说最长链--&大多数--&理性,于是分叉是允许的。于是导致了一些附带的问题,例如,如果网络有延迟,你怎么知道你手里那条链是整个网络里当前的最长链呢?于是,如果需要传输的数据多,那么延迟加大。延迟加大,那么越多的人手里的链并不是全网络的最长链。于是,全网络的最长链,就没法代表大多数。这就打破了比特币共识的根本,这也是为什么比特币区块频率是10分钟一块的原因。比特币目前有个著名的7币交易每秒的上限,而现在扩容闹得很厉害,以太坊的交易格式不同,也用了新的工作证明,想要改成权益证明,但这些都不本质。真正本质的是,在目前的网络条件下,如果适用全网的话,比特币共识的交易量基本上超不过100笔交易每秒这个量级。&/p&&p&上面这几段有可能太深了,简单来说,BFT共识和比特币共识的区别可以这么理解:&/p&&br&&p&BFT共识:来,大家开个会讨论一下集思广益啊,讨论出大家都满意的结果为止。&/p&&p&问题:开会的效率大家都懂,人越多越不容易出结果。只能用于少数节点,用于上千个节点的话……大家想象一下一天开一次人大的场景。&/p&&br&&p&比特币共识:你的诗念得不错,组织已经决定了,今天就你来当领导了,做得好有奖,做不好扣钱。&/p&&p&问题:奖励几千块钱还好,奖励几分钱谁好好干?&/p&&br&&br&&p&而区块链也就因此被分成了泾渭分明的两类,很多人都听过什么公有链私有链联盟链,但是,如果你们以为这是根据应用区分的就大错特错,其实,这两种区块链最本质的区别,还是因为共识模型或者说算法不同——BFT算法没法应用于大量节点,所以用BFT算法的就没法做公有链。而比特币共识得有个价值体系,这东西去做私有链联盟链就很不靠谱,因为一个单纯逐利的人的假设还算靠谱,但是如果对象是公司的话,公司的利益就太复杂了,不能简单认为他们只追逐区块链上那点价值。&/p&&p&1,公有链,以比特币,以太坊和所有虚拟货币为代表,都采用比特币共识,共识算法基本上都采用工作证明机制,也就是挖矿那些,这种机制其他回答里已经讲得够清楚了,就略过。工作证明一切都好,除了费电……费多少电呢?比特币的话,差不多和一个百万人级别的城市那么多。此外以太坊的创始人特别喜欢权益证明,似乎很快要小范围投入使用(100个区块里一个用权益证明)。但是目前为止,大家对这东西的可靠性还持观望态度。&/p&&p&2,私有链和联盟链。以IBM的hyperledger-fabric,以及一大堆其他的类似于tendermint,甚至R3 corda和ripple为代表,都用BFT共识。其实这方面的应用已经很多了,问题是,1,目前基本上所有应用给人的感觉都还是为了做区块链而区块链,真的觉得这东西好到不可或缺的应用还基本没有。2,由于为了区块链而区块链,其实很多场景的安全性和可靠性还值得怀疑,这点经常被被公有链的支持者诟病。&/p&&br&&p&嘛,以上就是个人定义的区块链了,顺带概述一下现在区块链领域的发展。&/p&&p&之所以写这个帖子,就是因为发现明明是问区块链的问题,所有人都在讲比特币,都在讲挖矿,都在讲工作证明……工作证明不能说过时,也的确是现在公有链唯一可靠的共识算法,但是这东西确实是业界除了比特币死忠之外谁都不想要的东西好吗……&/p&
首先要搞清一个问题——比特币是区块链,但是区块链并不是比特币。于是,在区块链的这个问题回答里,提到“矿工”,“挖矿”,“最长链”,“分叉”等等词的,其实都不准确。写一点上个月讲课的内容——个人觉得大部分的回答,包括google搜出来的或者wiki的…
&p&&b&不邀请自答!&/b&&/p&&p&&b&背景介绍:&/b&本人从2015年开始研究区块链技术,也算是对区块链有一定的了解吧。&/p&&p&申明:预估看到本问题的知乎er应该都是想要入门区块链,那么本回答也主要是进行一个入门级别的介绍。只是入门级别介绍,不适合区块链从业人员提升学习。&/p&&p&-----------------------------------&/p&&p&回答的目录如下:&/p&&p&&b&一、区块链是什么?&/b&&/p&&p&&b&二、从业务角度学习区块链技术?&/b&&/p&&p&&b&三、从技术角度学习区块链技术?&/b&&/p&&p&&b&四、学习资料推荐与共享?&/b&&/p&&p&-------------------------------------&/p&&p&&b&一、区块链是什么?&/b&&/p&&p&区块链有很多的定义,大家的说法都不一样,业界都还没有统一。每个人心中都有自己的哈姆雷特。所以此处就不做定义了。也可以参考其他回答。&/p&&p&那么我主要推荐一些关于区块链概念的学习资料,看完我所推荐的资料,你应该对这门技术有一个自己的了解:&/p&&p&预备知识:&/p&&p&00.&a href=&//link.zhihu.com/?target=http%3A//blog.codinglabs.org/articles/bitcoin-mechanism-make-easy.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&一个故事告诉你比特币的原理及运作机制&/a&:&/p&&p&01.&a href=&//link.zhihu.com/?target=http%3A//www.8btc.com/what-is-blockchain& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链是什么 | 巴比特&/a&&/p&&p&&br&&/p&&p&正式学习:&/p&&p&&b&02.中本聪的关于比特币的白皮书。&/b&&/p&&p&&b&英文原版:&/b&Bitcoin: A Peer-to-Peer Electronic Cash System(&a href=&//link.zhihu.com/?target=https%3A//bitcoin.org/bitcoin.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&bitcoin.org/bitcoin.pdf&/span&&span class=&invisible&&&/span&&/a&)&/p&&p&&b&中文翻译版本:&/b&比特币白皮书:一种点对点的电子现金系统(&a href=&//link.zhihu.com/?target=http%3A//www.8btc.com/wiki/bitcoin-a-peer-to-peer-electronic-cash-system& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&比特币白皮书:一种点对点的电子现金系统 | 巴比特&/a&)&/p&&p&这份白皮书是区块链的起源,也是区块链从业人员必须要看的。&/p&&p&&br&&/p&&p&&b&03.普林斯顿大学的公开课:&/b&&/p&&p&Bitcoin and cryptocurrency: &a href=&//link.zhihu.com/?target=https%3A//www.coursera.org/learn/cryptocurrency& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Bitcoin and Cryptocurrency Technologies | Coursera&/a&&/p&&p&内容讲的很透彻。&/p&&p&密码学原理,bitcoin的基本概念,共识机制,区块链现状 ,区块的应用中问题,包括比较新的侧链都有讲到。&/p&&p&基本也是从业人员必看的。&/p&&p&&br&&/p&&p&&b&04.Master Bitcoin这本书:&/b&&/p&&p&中文名:《精通比特币》&/p&&p&英文名:《Master Bitcoin》&/p&&p&我自己之前并没有在jd/tb/dd/amz找到这本书,所以附上中文电子版本:(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1sl7IMz7& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1sl7IMz&/span&&span class=&invisible&&7&/span&&span class=&ellipsis&&&/span&&/a& 密码: uq7g)侵删。&/p&&p&这本书极其推荐去看一下,内容由浅入深,基本概念,代码分析都是有的,密码学也讲的很通俗易懂。&/p&&p&&b&通过以上资料的学习,基本对于区块链就有了一个基本的了解。&/b&&/p&&p&&br&&/p&&p&&b&二、从业务角度学习区块链技术?&/b&&/p&&p&&b&01.工信部的白皮书:&/b&&/p&&p&(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1bGeBi2& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1bGeBi2&/span&&span class=&invisible&&&/span&&/a& 密码: ctbn)&/p&&p&&b&02.香港金管局的白皮书:&/b&&/p&&p&(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1mh8sGwK& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1mh8sGw&/span&&span class=&invisible&&K&/span&&span class=&ellipsis&&&/span&&/a& 密码: 25nh)&/p&&p&&b&03.腾讯关于TRUSTsql的白皮书:&/b&&/p&&p&(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1bGeBi2& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1bGeBi2&/span&&span class=&invisible&&&/span&&/a& 密码: ctbn)&/p&&p&&b&04.《区块链从数字货币到信用社会》--长铗著作:&/b&&/p&&p&长铗前辈的讲解可以说是非常透彻,而且对于未来的展望也很有现实意义。&/p&&p&&b&05.《区块链:定义未来金融与经济新格局》-张健著作:&/b&&/p&&p&作者为火币网技术副总裁可以说是个奇才,把概念讲的非常清楚。&/p&&p&&b&06.世界经济论坛区块链报告:&/b&&/p&&p&(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1nuFcpKH& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1nuFcpK&/span&&span class=&invisible&&H&/span&&span class=&ellipsis&&&/span&&/a& 密码: mbxf)&/p&&p&&b&07.国内证券公司报告:&/b&&/p&&p&(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1nuFcpKH& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1nuFcpK&/span&&span class=&invisible&&H&/span&&span class=&ellipsis&&&/span&&/a& 密码: mbxf)&/p&&p&&b&08.美国政府公布的15大区块链医疗研究论文:&/b&&/p&&p&(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1dFhIRr7& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1dFhIRr&/span&&span class=&invisible&&7&/span&&span class=&ellipsis&&&/span&&/a& 密码: 3fap)&/p&&p&&b&09.欧洲央行分布式账本技术报告:&/b&&/p&&p&(链接: &a href=&//link.zhihu.com/?target=https%3A//pan.baidu.com/s/1dFhIRr7& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&pan.baidu.com/s/1dFhIRr&/span&&span class=&invisible&&7&/span&&span class=&ellipsis&&&/span&&/a& 密码: 3fap)&/p&&p&10.其他资料就不太方便共享了:&/p&&p&&br&&/p&&p&我觉看了上面推荐的这些书和报告,你应该从业务角度对于区块链技术有了一个比较深入的了解了。&/p&&p&&b&三、从技术角度学习区块链技术?&/b&&/p&&p&&b&(一)、基础阶段:&/b&&/p&&p&&b&01.《区块链开发指南》-作者申屠青春:&/b&&/p&&p&作者多余比特币底层的研究可谓是非常深入,讲解的也非常通俗易懂。&/p&&p&&b&02.《区块链技术指南》-作者邹均:&/b&&/p&&p&作为国内第一本从技术角度讲解区块链的书籍,值得一读,2016年出版以来一致评价不错。&/p&&p&&b&03.《区块链 原理、设计与应用》-作者杨保华陈昌:&/b&&/p&&p&陈昌前辈作为纸贵的CTO、记得之前的墨链就是基于Hyperledger Fabric的,所以这本书对于Hyperledger 相关开源产品的讲解很透彻。&/p&&p&&br&&/p&&p&&b&(二)、以太坊部分:&/b&&/p&&p&&b&04.以太坊介绍:&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=https%3A//www.ethereum.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Ethereum Project&/a&&/p&&p&中文学习社区:&a href=&//link.zhihu.com/?target=http%3A//ethfans.org/wikis/Home& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&EthFans | 以太坊爱好者&/a&&/p&&p&GitHub:&a href=&//link.zhihu.com/?target=https%3A//github.com/ethereum& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ethereu&/a&&/p&&p&&b&05.以太坊白皮书:&/b&&/p&&p&中文版:&a href=&//link.zhihu.com/?target=http%3A//ethfans.org/wikis/%25E4%25BB%25A5%25E5%25A4%25AA%25E5%259D%258A%25E7%2599%25BD%25E7%259A%25AE%25E4%25B9%25A6& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&EthFans | 以太坊爱好者&/a&&/p&&p&&b&05:Solidity语言(以太坊开发推荐语言):&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=https%3A//solidity.readthedocs.io/en/develop/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Solidity - Solidity 0.4.19 documentation&/a&&/p&&p&&b&06.web3.js(与以太坊交互的js api):&/b&&/p&&p&网址:&a href=&//link.zhihu.com/?target=https%3A//github.com/ethereum/web3.js& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&github.com/ethereum/web&/span&&span class=&invisible&&3.js&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&论坛:&a href=&//link.zhihu.com/?target=http%3A//forum.ethereum.org/categories/ethereum-js& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&web3-js&/a&&/p&&p&&b&07.truffle框架:&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=http%3A//truffleframework.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TruffleFramework.com - Truffle Suite&/a&&/p&&p&以太坊开发的瑞士军刀,几乎是一站式解决方案。&/p&&p&&b&08.Open-zeppelin合约审查:&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=https%3A//openzeppelin.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&OpenZeppelin&/a&&/p&&p&&b&09.《Ethereum: Blockchains, Digital Assets, Smart Contracts, Decentralized Autonomous Organizations》:&/b&&/p&&p&没有中文版,只有亚马逊有卖&/p&&p&&br&&/p&&p&&b&(三)、Hyperledger 开源项目学习:&/b&&/p&&p&&b&01.Hyperledger 基本信息:&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=http%3A//www.hyperledger.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Home&/a&&/p&&p&&b&02.Fabric 学习:&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=https%3A//www.hyperledger.org/projects/fabric& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hyperledger Fabric&/a&&/p&&p&&br&&/p&&p&&b&(四)、其他:&/b&&/p&&p&&b&01.BigchainDB:&/b&&/p&&p&&b&官网:&/b&&a href=&//link.zhihu.com/?target=https%3A//www.bigchaindb.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&BigchainDB o o The scalable blockchain database powering IPDB.&/a&&/p&&p&这个是我比较看好的一个项目&/p&&p&&b&02.IPFS:&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=https%3A//ipfs.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&IPFS is the Distributed Web&/a&&/p&&p&这个据说是一个取代http的价值传输协议,比较看好&/p&&p&&b&03.国内的布比:&/b&&/p&&p&官网:&a href=&//link.zhihu.com/?target=http%3A//www.bubi.cn/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&布比区块链,让数字资产自由流动起来&/a&&/p&&p&个人认为值得研究&/p&&p&《区块链技术原理与底层架构》这本书有详细讲解布比的技术实现。&/p&&p&&b&四、学习资料推荐与共享?&/b&&/p&&p&&br&&/p&&p&&b&图文教程:&/b&&/p&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//www.huiyanghua.com/article/plant/469/4707.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在CentOS 6.5上搭建以太坊私有链&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//bitshuo.com/topic/baf1df6cad0d6f& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&创建自己的私有比特币测试链&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//blog.csdn.net/u/article/details/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&以太坊智能合约编写实例&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//ethfans.org/posts/101-noob-intro& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&以太坊智能合约编程之菜鸟教程&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//bitshuo.com/topic/baf1df6cad0d40& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&通过truffle部署以太坊智能合约&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//yeasy.gitbooks.io/hyperledger_code_fabric/content/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hyperledger 源码分析之 Fabric&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//programmingblockchain.gitbooks.io/programmingblockchain/content/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&programming blockchain in c#&/a&&/li&&/ul&&h2&书&/h2&&ul&&li&&a href=&//link.zhihu.com/?target=http%3A//bitcoin-on-nodejs.ebookchain.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Nodejs开发加密货币&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//zhibimo.com/read/wang-miao/mastering-bitcoin/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&精通比特币&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//yeasy.gitbooks.io/blockchain_guide/content/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链技术指南&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//product.dangdang.com/.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&区块链:定义未来金融与经济新格局&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//yeasy.gitbooks.io/hyperledger_code_fabric/content/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Hyperledger 源码分析之 Fabric&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//programmingblockchain.gitbooks.io/programmingblockchain/content/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&programming blockchain in c#&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//lib.csdn.net/case/blockchain& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&csdn的blockchain知识库&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//en.wikipedia.org/wiki/History_of_cryptography& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&History of cryptography&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//www.blogjava.net/yxhxj2006/archive//389547.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&公钥与私钥&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//8btc.com/article-138-1.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&什么是椭圆曲线加密(ECC)&/a&&/li&&li&&a href=&//link.zhihu.com/?target=http%3A//www.jianshu.com/p/225ff9439132& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&比特币背后的密码学原理&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//blog.helong.info/blog//translate-Everything-you-need-to-know-about-cryptgraphy-in-1-hour/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&密码学一小时必知&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//blog.helong.info/blog//modern-crypto/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&现代密码学实践指南&/a&&/li&&li&&a href=&//link.zhihu.com/?target=https%3A//safecurves.cr.yp.to/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SafeCurves:choosing safe curves for elliptic-curve cryptography&/a&&/li&&/ul&&p&&br&&/p&&p&希望以上答案可以对你有所帮助!&/p&&p&后期有时间再更新吧!&/p&&p&&figure&&img data-rawheight=&480& src=&https://pic3.zhimg.com/50/v2-0a2aaf76ccbb_b.jpg& data-rawwidth=&720& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic3.zhimg.com/50/v2-0a2aaf76ccbb_r.jpg&&&/figure&&/p&
不邀请自答!背景介绍:本人从2015年开始研究区块链技术,也算是对区块链有一定的了解吧。申明:预估看到本问题的知乎er应该都是想要入门区块链,那么本回答也主要是进行一个入门级别的介绍。只是入门级别介绍,不适合区块链从业人员提升学习。------------…
&p&&b&[什么样的人容易在BAT当领导?]&/b&&/p&&p&有一位鹅厂技术总监在接受我的高管私教辅导。&/p&&p&我们聊到一个话题,怎样和员工分享一些经验能够让下属比较听的进去?&/p&&p&因为这个技术总监对工作结果要求比较高,对于细节往往也考虑的很全面,他的下属还挺怕他的,有着一定的距离感。&/p&&p&针对他的这个问题我是这么回答的。首先你要想一想,你的下属们他们对什么东西感兴趣?&/p&&p&&b&应该没有人对晋升不感兴趣吧?&/b&&/p&&p&你可以把对下属的工作要求,结合在告诉他们如何获得在腾讯晋升机会的经验分享里。这样的方式他们可以更容易听得进去。&/p&&p&&b&是不是觉得当领导的,满满的都是套路啊&/b&。&/p&&p&完成对他的私教辅导之后,我想在这个话题真的挺有价值的。在BAT这些一流的互联网公司里面,怎么样的人更容易获得晋升机会?&/p&&p&结合对于一些腾讯基干、中干的访谈,和我看到的阿里百度的一些早期资料,能够在互联网公司里当领导的人,一般有以下几个特点: &/p&&p&&b&1. 主动承担责任的owner心态&/b&&/p&&p&我认识的一位开发leader在他还只是开发骨干的时候,主动梳理了不少开发接口,这些本来不是他分内的工作,也就是这样的举动被老板记在心里了。再加上他后续的工作结果、沟通能力都不错,所以在后续有晋升机会的时候,他比一些来的更早的员工都要更早的获得了这个机会。&/p&&p&&b&大公司不缺聪明人。有的时候笨一点,多干一点,主动一点不是什么坏事...&/b&&/p&&p&&br&&/p&&p&&b&2.系统性结构化思考&/b&&/p&&p&我之前和鹅厂负责青藤大学的总监所带的团队,有过一些工作上的配合。我发现一个很明显的现象,越是基层的员工,对于工作计划的考虑越像是一个个零星的散点,比如说研究商业模式,只能去看到别人的产品线,收费模式这些点。而总监这一层面会更加系统的去对比自己和友商,从核心资源到团队人数,再到产品形态、盈利模式,包括老板的认可度,某一个商业模式探索的时间止损定点。如果说基层员工做的计划是一个简单的excel,总监做的工作计划就是一个系统化的工作报告了。&b&越是高层的老板,越是会看你的打法。&/b&&/p&&p&&br&&/p&&p&&b&3.交付结果的能力&/b&&/p&&p&做到积极主动和系统化思考对于职场新人可能有一定难度,但是对于工作三五年的人而言,用点心就一点不难了。但是为什么有很多工作三五年的人还是升不上去呢,还是因为在工作上没有拿得出手的工作成果。这方面一半靠个人努力,也有一半看所在平台的业务发展。&/p&&p&&b&BAT对于领导者都强调创新,创新的最好衡量尺度是什么?&/b&&/p&&p&当然是结果,基本上每一个能够拿到腾讯公司级奖项的团队,都会有着几位待晋升的基干。如果所在业务没有太大发展,没有好的成果,团队不增加,自然就不会有新的管理岗位出现。反之则意味着大量的晋升机会。要知道微信从部门升格事业群,很多之前老员工现在都是总监了。&/p&&p&&br&&/p&&p&&b&4.项目结果及时汇报&/b&&/p&&p&如果项目进展不顺利,你一定要及时汇报,原因在于你需要管理老板预期,如果老板看你忙了半年,最后才告诉他一句项目进展不如预期,他估计马上炒了你的心都会有。&/p&&p&如果你负责的项目有了不错的成果一定要记得及时汇报。越是大公司,说的好和干的好越是同样重要。项目成果记得写成邮件,抄送老板和兄弟团队,简直是大公司干完活的必备环节。&/p&&p&&b&小结:&/b&&/p&&p&当你在干一件工作的时候,比如说制定运营计划的时候,发现自己只能列一个大概的时候,只有一种情况,你的思考还不够深入,你对于这份运营工作的重视程度还不够。&/p&&p&&b&一件事你想的不够细,就没有办法做好。&/b&&/p&&p&想要成为互联网公司的领导者,你需要积极主动承担,对于工作系统性思考,交付结果的能力,更重要的是敢于去表达、展现你的工作成果。&/p&&p&&b&不要害怕去展现你的工作成果,干的好与说的好同样重要。&/b&&/p&&p&&b&就像我的一位老师说过“能说会道的家伙,统治了整个世界”...&/b&&/p&&p&PS:辛苦写的1500字,觉得有点用的同学,欢迎给个赞支持...&/p&&p&&b&如果你也想成为一个能说会道的家伙,可以在我的公号贺嘉老师(公众号 ID:kuajie123)回复关键字“演讲”, 查看演讲提升的干货。&/b&&/p&&p&经常有朋友问我的成长之路,如何跨界转型和变牛x的,如何获得机会给长江商学院CEO班讲过课,给腾讯、国信证券这些公司中高层做私教的故事。&/p&&p&我在贺嘉老师(公众号 ID:kuajie123)专门写了篇文章,回复关键字“套路” 查看。&/p&
[什么样的人容易在BAT当领导?]有一位鹅厂技术总监在接受我的高管私教辅导。我们聊到一个话题,怎样和员工分享一些经验能够让下属比较听的进去?因为这个技术总监对工作结果要求比较高,对于细节往往也考虑的很全面,他的下属还挺怕他的,有着一定的距离感…
&figure&&img src=&https://pic4.zhimg.com/v2-d2c272d6f_b.jpg& data-rawwidth=&640& data-rawheight=&451& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/v2-d2c272d6f_r.jpg&&&/figure&&p&首先八爪鱼采集器功能比较多,而且对比主流的采集软件八爪鱼采集器不落下风。我个人比较熟悉的主流采集工具有火车采集器、火车浏览器、八爪鱼、GooSeeker等。而这些软件之中,火车采集器效率极高,爬取速度快,但是规则配置烦琐,有一些高级功能必须付费版,甚至高级付费版才能使用,烦死……火车浏览器功能强大,但是和采集器不一样,它以模拟网页操作的形式来采集或者操作网页,效率低于火车采集器,和八爪鱼差不太多,功能各有千秋,费用就不怎么样了,贵到死。GooSeeker只是简单用了一下,基本功能还可以,规则编制有些繁琐,部分其他采集工具能实现的高级功能它不太好实现,至少我没直接看懂怎么实现。八爪鱼作为可视化型的采集工具,算是最折中和方便的,配置规则速度快,比费劲分析写爬虫代码容易。&/p&&p&首先有一些很麻烦的坑我要说一下为什么其他几种采集方法会很费劲。AJAX加载技术大家已经比较清楚了,而且已经运用到了很多网站之中,这种技术对傻瓜采集工具和小白用户来说是致命的,首先你采集不到合适的数据,其次你也无法很好地使用傻瓜软件翻页和下拉到页面底端,麻烦到死。&/p&&p&火车采集器没有网页操作能力,能支持的只是通过POST和GET等方式获得内容详情页,再进行采集,这就需要使用到抓包工具Fiddler来抓包分析,好拼配组合出需要采集的网址。中途过程之酸爽,估计让很多小萌新吐血到死。苦逼的是,一个网站一个样,也没什么太好的通用型教程,小白只能吐血而死。还有就是,如果你只花了几百块钱买了个版本,那么……JSON数据无法解析啊,我就XXX它们……不能解析的话,很多主流新闻网站的评论都废掉了。火车浏览器就不说了,功能很好,就是设置规则繁琐,免费版只能运行30分钟,适合有钱和有技术人员的中小企业。&/p&&p&网络爬虫技术JAVA的我不懂,我只熟悉Python的,基本静态页面爬取和分析那简直是爽歪歪,轻松搞定多线程啪啪啪!但是对AJAX最烦人的,最容易遇到的几个问题:&/p&&p&A,下拉到页面底端才会加载数据&/p&&p&B,网址不会改变,点击上下页只会异步加载数据(多用于分页文章或者评论)&/p&&p&C,里面有加密或者需要js代码中获取某些数据之类的&/p&&p&如果偷懒,那就用Selenium+PhantomJS,采取执行部分页面JS脚本,或者通过DOM定位等形式来加载出来需要的数据。如果想要速度,可以通过抓包工具分析,然后程序拼出网址,最终采集的方式。Python对JSON数据解析还是很给力的,虽然对于数据里带“,”的格式解析容易出问题,我到现在也不是太会处理。需要再研究一下。总之程序是万能的,就看程序猿水平如何了……
_(:з」∠)_(哦,我不是程序猿……我是产品汪啊……)&/p&&p&八爪鱼这一点完全是小白化、智能化、傻瓜化的,也许一些公司的领导会觉得这么简单就能采集了,找个实习生就解决了,没技术含量。对此我只能说,这群自以为是领导就不思进取到处忽悠骗钱的SB,他们哪里知道这软件的好玩之处。虽然我很想买个企业版,不过公司里有技术人员,又会写爬虫,实在不值得掏这个成本了,所以算了。&/p&&p&所谓简单只是表面的,实际上八爪鱼想用好了需要知道HTML语言结构、XPATH规则、正则表达式等基本知识。以下是我遇到和发现的一些问题,简单分享一下。&/p&&p&我自己最近用云采集也经常遇到一些问题,采集运行一段时间就停止了,一开始也郁闷,八爪鱼云采集怎么这么不给力。但是后来我仔细分析了一下规则之后,我感觉,除了一些特殊情况,比如八爪鱼后台在调整之类的,云采集出问题的常见原因还是以下的:&br&1,小白傻瓜化点点点,这类的不会写准确的XPATH,也不会分析页面源码,所以一旦页面数据格式变化了,死板的点击生成的规则就很容易废掉;&br&2,没有足够的判断语句来跳出循环,有些页面的下一页直接点击会出问题,还有一些的下一页,点击生成规则就会无限循环,必须有判断语句判断是否到了最后一页,比如汽车之家新闻评论采集就会如此。所以最好的方法就是看源代码判断是否可以用傻瓜方式写翻页循环,否则就需要自己XPATH定位元素;&br&3,官方的教程很实用,基本都看完一遍掌握以后,大部分的问题就都能解决了,有一些解决不了的,大多数是不懂HTML结构和XPATH定位原理导致的。&br&蛋疼的帮很多人改了代码问题以后的总结就是:好好学看源码,好好学看源码,好好学看源码……重要的事情说三遍!&/p&&p&下面说一个简单的实例:&/p&&p&采集需求:对汽车之家新闻列表里所有包含“丰田”关键词的新闻,采集所有下面的评论。&/p&&p&采集分析:需要从新闻列表页-进入新闻文章页-进入评论列表页-采集。形成循环,最终采集一共3300多页的数据。&/p&&p&如果用点点点和循环大法,很快就可以写出来代码,单机执行首先出错,云采集更出错。各种重复采集、重复加载、无限循环。为什么呢?因为页面变化了,虽然变化不多,万幸!首先XPATH定位要精准,需要点击的元素都需要精准定位,确保循环执行不出错。其次翻页循环会遇到无限循环问题,需要看清下一页A标签的class内容变化,从而精准定位。&/p&&p&再有就是加入判断语句,多重嵌套判断语句没有问题,虽然看着有些乱,但是最后判断语句可以帮助流程顺利执行下去。非要说起来的话,这种判断语句比写python代码简单太多了,根本不叫事。&/p&&p&最后我的规则就变成了一大堆框框合并在一起的“东西”……但是这样的好处就是,我的云采集完整的执行下来了,而且编写脚本的时间比python快得多,虽然功能有缺失,但是对于临时采集项目来说很方便,我对于小型数据分析一般都用这种方法直接采集数据。python主要用于并行多线程采集和复杂数据清洗。&br&&/p&&br&&p&最后,总结一下八爪鱼里的坑:&/p&&ul&&li&云采集不是那么好用的,需要注意规则,尽量别太复杂&/li&&li&云采集是多ip多节点处理的,所以尽量别采集需要登录的网站,那是作死&/li&&li&如果没有ajax加载的页面,尽量勾选优化非ajax页面速度选项&/li&&li&单机测试一下,如果可以的话就不加载图片来采集&/li&&li&cookies有很多网站是有效时间并不长,所以别期待cookies可以一直使用&/li&&li&网速和计算机响应速度很大程度决定了单机采集的速度&/li&&li&云采集会漏数据的,精度要求高的话,尽量规则上做完善,比如加入加载失败的重试或者判断是否出现数据的流程&/li&&li&热门网站比如淘宝、阿里巴巴、企查查、天眼查等,基本上对云采集的ip都屏蔽了,别想那么容易……&/li&&li&单机采集可以使用网上的vps服务器,便宜的大概1天1块钱,好点的还能自动切换ip,小规模使用应该能解决不少问题&/li&&li&给页面留一些加载时间,或者循环延迟1秒,别让请求速度太快,容易漏数据&/li&&li&八爪鱼数据是没有计算功能的,所以只能采集和判断&/li&&li&学好Xpath,否则你就是从入门到放弃!重要的事情放在最后说……&/li&&/ul&&p&我的数据采集交流群:&/p&
首先八爪鱼采集器功能比较多,而且对比主流的采集软件八爪鱼采集器不落下风。我个人比较熟悉的主流采集工具有火车采集器、火车浏览器、八爪鱼、GooSeeker等。而这些软件之中,火车采集器效率极高,爬取速度快,但是规则配置烦琐,有一些高级功能必须付费版…
&figure&&img src=&https://pic4.zhimg.com/v2-492d08ca39_b.jpg& data-rawwidth=&1025& data-rawheight=&358& class=&origin_image zh-lightbox-thumb& width=&1025& data-original=&https://pic4.zhimg.com/v2-492d08ca39_r.jpg&&&/figure&&p&我还真得澄清一下,我不是八爪鱼的员工,八爪鱼也没给我任何钱让我对他们的产品进行推广。我写文章也不是为了推广八爪鱼,我只是用的多,思考的多。当然我确实很崇拜他们的CEO 刘宝强,但在产品角度我是客观的,我照喷不误。&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-1cc3ec78cbc21bd80a199_b.jpg& data-rawwidth=&250& data-rawheight=&250& class=&content_image& width=&250&&&/figure&&p&&br&&/p&&p&假设我是八爪鱼的PM,我已经对同行业竞品做了一些调研和分析,我可能会做些什么呢?首先因为我并没有在八爪鱼工作过,所以并不清楚研发团队的人数、擅长领域、可分配的人力资源数量,我也不清楚市场部分和用户部分的提出的需求的商业价值、是否有特殊需求。但是我知道如果没有别的因素,我可以根据自己的经验和感受做一些微创新的想法,反正思考又不花钱,是不是?&/p&&p&&br&&/p&&p&首先说微创新的五个策略,分别是:&/p&&ul&&li&除法策略&/li&&li&减法策略&/li&&li&乘法策略&/li&&li&寻找新用途的一专多能、任务统筹分配策略&/li&&li&建立变量之间新联系的属性依存策略&/li&&/ul&&p&如果你不知道这五个策略的关系,没关系,不用去找《微创新》这本书看,只要听得到APP就可以了。或者点击这里看文字版稿件,——&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&《微创新》&/a&。接下来我会利用这些策略进行一些产品设计改进的可能性研究。&/p&&p&&br&&/p&&p&我认为,即使是微创新,也需要让商务部门来进行商务价值判断。任何会动用研发力量做事的情况都需要和商务通气,否则就是掩耳盗铃一般的自我拍脑门。但是因为我现在没有可以陪着一起研究这些的商务,只好先从拍脑门开始。&/p&&figure&&img src=&https://pic2.zhimg.com/v2-b032413ddfd9_b.jpg& data-rawwidth=&1018& data-rawheight=&704& class=&origin_image zh-lightbox-thumb& width=&1018& data-original=&https://pic2.zhimg.com/v2-b032413ddfd9_r.jpg&&&/figure&&p&上图是我对于目前八爪鱼7.0版本进行的一些思考,在商务价值无法判断的情况下,我仅以尝试性创新作为本次的思考目标。&/p&&p&&br&&/p&&p&1,URL列表生成(除法策略)&/p&&p&众所周知,八爪鱼支持2万条URL列表,但是并不支持从文件导入或者通过某些规则生成。这里我们用的是除法策略,拆分URL列表生成这个用例,如何生成?有哪些生成手段?生成的目的是什么?&/p&&p&这些问题我希望大家自己想,我这里只说我自己的最后结论。那就是我想设计出一个通过拖拽和拟代码生成网址规则的小功能。&/p&&p&效果大概是这样的:&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-edcf00ec76cea_b.jpg& data-rawwidth=&1120& data-rawheight=&450& class=&origin_image zh-lightbox-thumb& width=&1120& data-original=&https://pic1.zhimg.com/v2-edcf00ec76cea_r.jpg&&&/figure&&p&解释起来有些难啊,尤其是通过文字。不过大体上来说就是通过在右边输入自己需要的参数,然后拖拽到拟代码区域,自动生成列表。当然因为是简易设计,没有加入后续功能。比如我这里可以点击确定就自动把列表塞入到规则里,也可以生成一个可解析的代码格式,让用户自己输入到需要的地方。我肯定是支持“确定”按钮一键搞定了。&/p&&p&&br&&/p&&p&同理,我也希望通过拟代码的形式,实现正则表达式工具的进一步改进。因为目前的正则表达式工具虽然好用,但是刚上手的时候让人会有些丈二和尚摸不着头脑的感觉。主要原因是文字部分让人刚上手的时候容易误解和产生歧义,并且并不是太符合语言习惯。&/p&&p&&br&&/p&&p&Xpath工具也是如此,通过拟代码和拖拽的形式,最终生成所需的xpath代码。这里有一些小创新点可以加入,比如对生成的Xpath进行页面内部的选中元素高亮显示,而不是只显示输出的结果;另一个是可以允许用户在页面里通过点击逐步增加想选中的范围,然后机器自动分析元素之间的关联,生成一段Xpath,这个可能技术实现上会有一些难度。&/p&&p&&br&&/p&&p&2,Json解析(一专多用途)&/p&&p&目前只有针对HTML页面的Xpath工具,因为八爪鱼并不能解析Json数据包。但是随着URL列表生成器的应用以及Json解析方法的加入,Xpath工具还可以再增加一个功能,就是JsonPath功能。如果知道这个的网友应该会发现,JsonPath的结构和Xpath有异曲同工之妙,非常适合都用拟代码的形式搞定。&/p&&p&&br&&/p&&p&其他的包括IP代理加入、ADSL自动拨号控制、云采集数据图形化显示我觉得其实不算微创新,算基本的功能改进,这里我就不觉得需要多谈了。&/p&&p&&br&&/p&&p&接下来说一些不那么狭窄的想法,如果利用微创新的5个工具,可能会让八爪鱼产生哪些改变呢?&/p&&p&&br&&/p&&p&首先利用减法原则,数据采集的一个基本流程是这样的:&/p&&p&确定采集需求——分析页面源码——编写采集规则——执行采集程序——输出采集结果&/p&&p&很多重点结构是不能用减法的,还有些小细节减法则是无关紧要的,很难产生价值。从微创新原则上来说,减去的一定是比较关键,但是又不是减去了就整体废掉的步骤。那么我们来看看可以减去什么呢?&/p&&ol&&li&如果减去分析页面源码,那就变成了类似造数科技的采集流程。上手很简单,只需要关注想采集的项目;&/li&&li&如果减去编写采集规则,就需要有替换的办法,要么像造数科技产品一样完全不写(这点我不得不说,减法用在这里估计会死的很惨,因为比起让用户不用写规则,用户更怕的是采集不到想要的数据);要么就需要一些神奇的方法,比如通过人工智能写规则,现在感觉有些扯淡,非常不靠谱,但是随着科技发展,一切皆有可能嘛;&/li&&li&如果我同时减去了分析页面源码、编写采集规则呢?那就是提供采集服务;&/li&&li&如果我同时减去了分析页面源码、编写采集规则和执行采集程序呢?那就是只提供数据。&/li&&/ol&&p&以上就是改变的可能性,哪种你觉得更靠谱,更有前途?欢迎留言交流。&/p&&p&&br&&/p&&p&如果我们使用除法原则,那么我们可以对所有的步骤进行非常详细的拆解。拆解之后的元素和细节流程都可以进行重组或改变。这里组合太多,可能性也太多,我简单罗列一些:&/p&&ol&&li&拆解分析页面源码步骤,让分析更加智能化,而不是人工分析,比如自动分析页面类型、翻页类型、循环结构、是否需要采取Ajax加载/JS解析等手段来编写规则等等;&/li&&li&拆解编写规则步骤,这里有非常多的改变的可能性,比如八爪鱼目前的规则编写普遍步骤是:打开页面-建立列表页循环-建立内容页循环-建立数据提取循环。其中每一个步骤的设置和选项都有改进的可能性;&/li&&li&拆解数据采集执行步骤,这个可能有些偏向技术和后台,目前大多数采集平台都没有开放后台执行步骤和流程,神箭手的日志可以说是最详细和最全面的了。不过目前这个情况并不是问题,问题是如何拆解云采集的流程,让执行更顺畅、用户体感感受更好。这就交给各个公司自己的PM来考虑吧。&/li&&/ol&&p&&br&&/p&&p&如果我们使用一专多能策略的话,现有的很多功能都可以进行扩充,比如:&/p&&ol&&li&HTML解析扩展为HTML和Json数据包都可以解析;&/li&&li&URL列表可以生成,也可以从文件、数据库中导入;&/li&&li&可以提取文本数据,也可以爬取图片、视频、各种文件;&/li&&li&可以采集数据,也能模拟网页操作执行一些繁琐性的操作解决特定需求,比如抢购抢单等人工烦琐又没效率的操作;&/li&&li&数据导出这里,只能导出么?我就不能用数据进行深度学习么?既然一些框架是通用的,比如TensorFlow和caffe,那么为啥我不能直接进行数据标注然后进行模型训练呢?(请技术大牛判断一下)&/li&&/ol&&p&&br&&/p&&p&以上是我最近的一些思考,因为工作调动的关系,思考的不够全面,先和大家分享这么多。&/p&&p&&br&&/p&&p&兔哥的博客:&/p&&p&&a href=&https://link.zhihu.com/?target=http%3A//www.geekerlee.com& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&www.geekerlee.com&/a&&/p&&p&兔哥的数据交流群:&/p&&p&兔哥的公众号:搜索“兔哥的数据圈子”&/p&&p&&/p&
我还真得澄清一下,我不是八爪鱼的员工,八爪鱼也没给我任何钱让我对他们的产品进行推广。我写文章也不是为了推广八爪鱼,我只是用的多,思考的多。当然我确实很崇拜他们的CEO 刘宝强,但在产品角度我是客观的,我照喷不误。 假设我是八爪鱼的PM,我已经对…
&p&以下是张首晟推荐的人类最伟大的9大思维模型。&/p&&figure&&img src=&https://pic4.zhimg.com/50/v2-e9c7601fde78a6b80b5ad53_b.jpg& data-size=&normal& data-rawwidth=&720& data-rawheight=&405& class=&origin_image zh-lightbox-thumb& width=&720& data-original=&https://pic4.zhimg.com/50/v2-e9c7601fde78a6b80b5ad53_r.jpg&&&figcaption&张首晟教授在混沌大学分享人类最伟大的9个思维模型&/figcaption&&/figure&&h2&&b&&i&1. &/i&自然界三大基本常数&/b&&/h2&&figure&&img src=&https://pic1.zhimg.com/50/v2-e97c97afa7ae7da08fb611ab3963636d_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&238& data-rawheight=&200& class=&content_image& width=&238&&&/figure&&p&作为一个物理学家,我觉得人类文明最高的建树还是科学真理。&b&科学真理最重要的是两点,一是能量,二是信息。&/b& &/p&&p&对能量最深刻的认识来自爱因斯坦,如果总结人类最知名的公式,E=mc?是首选。大家说物质本身也很重要,但是&b&通过E=mc?,就发现物质和能量是一回事。&/b&&/p&&p&&br&&/p&&p&对信息的认识,是人类对大自然最重要的认识。&b&怎么描写和衡量信息,也有一个非常奇妙信息熵的公式:S=-p log p。&/b&&/p&&p&这个公式不像E=mc?那么知名,但爱因斯坦说过一句话:等到人类的知识往前推进,牛顿力学可能不对,量子力学可能不对,相对论可能也不对,但信息熵的公式是永恒的。&/p&&p&&br&&/p&&p&我们这个时代,可能觉得科学万能,但&b&第三个公式告诉我们,科学不是万能的。&/b&科学的伟大,在于能够告诉科学的界限在哪儿。&/p&&p&这就是&b&量子力学的海森堡测不准原理,科学有一个永远不能跨过的界限,你不可能把一个粒子的位置,和它的重量,或者它的速度,同时精准地测量出来。&/b&&/p&&p&哲学上讲,客观世界完全独立于主观世界的存在,但是这是个伪命题,并不是真正存在的。&/p&&p&真正能观察到的,是客观和主观之间的结合,由于观察者和被观察的世界相互作用,我们不可能无穷精准地把客观世界了解清楚。&/p&&p&这是第三个公式的伟大,因为它不只是讲了一个科学的原理,更说明了一个哲学的原理,告诉我们&b&客观的世界和主观的世界,不能完全割裂。&/b& &/p&&p&&br&&/p&&h2&&b&&i&2. &/i&万物都是由原子构成&/b&&/h2&&figure&&img src=&https://pic4.zhimg.com/50/v2-babb860f1fd_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1200& data-rawheight=&871& class=&origin_image zh-lightbox-thumb& width=&1200& data-original=&https://pic4.zhimg.com/50/v2-babb860f1fd_r.jpg&&&/figure&&p&人类的文明不只局限于科学,还有哲学,政治,法律??如果用一句话来描写整个世界里,最值得告诉下一代的话,就是“&b&万物都是由原子构成&/b&”。&/p&&p&譬如中医讲“气”,好象是非常神奇的东西,这个气,本身也是由原子组成的。因为世界上不可能有别的物质产生。&/p&&p&不只是地球,整个宇宙的原子,和我们这里的原子完全是一模一样的。&/p&&p&我们怎么会知道?因为每个原子会发出一些特殊的光来。如果说我们知道太阳上有氦原子,氦原子发出光的那个性质,所谓的光谱和地球上能够观察到的光谱一模一样。整个宇宙世界里,万物都是由原子构成的。&/p&&p&这个概念是个非常伟大的概念,虽然真正对原子的理解,是20世纪初由于量子力学的奠基。&/p&&p&但是了不起的是两千年以前,原子的概念就被希腊的人提出来了。所以,&b&这是一种思想方法,就是要把世界上万物的复杂性归纳到原子的简单性。&/b&&/p&&p&我们知道元素周期表特别简单,那么千变万化的世界,归纳到最后就是这100多种元素,这就是思想方法的伟大。&/p&&p&好像是非常抽象的科学概念,和我们今天办企业有什么关系?做任何的企业要能赚钱,就是用简单的办法来解决一个复杂的问题。&/p&&p&&br&&/p&&h2&&b&&i&3.&/i& 欧几里德几何定理&/b&&/h2&&figure&&img src=&https://pic3.zhimg.com/50/v2-f3679803e_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&469& data-rawheight=&460& class=&origin_image zh-lightbox-thumb& width=&469& data-original=&https://pic3.zhimg.com/50/v2-f3679803e_r.jpg&&&/figure&&p&以上是物理的概念,也是化学的概念,如果用数学来描写,最精华的思想是什么?&b&希腊文明的伟大,除了那些公式之外,是把数学思想已经基本奠定了,这就是欧几里得的公理系统。&/b&&/p&&p&这么错综复杂的理论体系,它一定要建设在五条不言而喻的公理上面:比如两点可以划一条直线;所有直角都全等??&/p&&p&这个事情我们觉得真是太不言而喻了,根本不需要证明。&b&欧几里得把它作为基本的公理,就是第一性原理。&/b&再复杂的知识体系,你一定要归纳成最少的几条不言而喻的公理。&/p&&p&欧几里得的妙处就是出发于那些显而易见的公理,来整理他整个知识的体系,把它变成一个丰茂的大树,这些大树的根就是一些公理。&/p&&p&在这种情况下,物理的思想和几何的思想也是统一的思想,把万物归到一个最最简单的原理上。&/p&&p&&br&&/p&&h2&&b&&i&4. &/i&自然选择,适者生存&/b&&/h2&&figure&&img src=&https://pic1.zhimg.com/50/v2-8b01dfcaa969a1b20fec_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&900& data-rawheight=&563& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic1.zhimg.com/50/v2-8b01dfcaa969a1b20fec_r.jpg&&&/figure&&p&生物是一个非常复杂的系统,好像不容易总结出非常简单而普世的规律,其实,&b&如果整个生物用一句话来描写的话,就是“自然选择,适者生存”。&/b& &/p&&p&所以,生物之所以能够进化,是因为周围的环境一直在改变,能够适应环境的生物就能生存,不适应的就会被淘汰,这是进化的最原始动力。&/p&&p&我们每次讲公司的生和死,其实已经潜意识把公司看成是生物,&b&公司也是同样适者生存,竞争是非常残酷的,但是越是极地环境下生存的公司,就越优秀。&/b&&/p&&p&&br&&/p&&h2&&b&&i&5. &/i&人人生来平等&/b&&/h2&&figure&&img src=&https://pic4.zhimg.com/50/v2-d60ed0241cf81_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&900& data-rawheight=&598& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic4.zhimg.com/50/v2-d60ed0241cf81_r.jpg&&&/figure&&p&讲起人文的思想,如果用一句话来总结的话,就是&b&“人人生来平等”。&/b&这是美国《独立宣言》上的第一句话,基本上模仿了欧几里得的公理系统。&/p&&p&它说我要建一个国家,国家是一个非常复杂的体系,但也要建在一个基本的原理上。这个基本的原理,一定要是每个公民觉得是不言而喻的一个真理,不需要过多的解释。&/p&&p&美国的宪法200年不变,为什么?它是把科学的基本理念用在治国。既然欧几里得复杂的定理系统能够建立在几条显而易见的公理上,我们建国为什么不可以?使得每个公民根本不需要任何知识,一讲他就知道?&/p&&p&这样国家才能真正地牢固,这是人人生来平等,这是一个基本的原理。&/p&&p&&br&&/p&&h2&&b&&i&6. &/i&自由的空气在飘扬&/b&&/h2&&figure&&img src=&https://pic2.zhimg.com/50/v2-c203b063d55e537f733a9ee59a2fa229_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&900& data-rawheight=&613& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic2.zhimg.com/50/v2-c203b063d55e537f733a9ee59a2fa229_r.jpg&&&/figure&&p&说到办一流的大学,大家都会想到哈佛大学和斯坦福大学这些百年学府。&b&斯坦福大学牛在哪儿?它的校训是“自由的空气在飘扬”。&/b&&/p&&p&这是一个百年学府成功的前沿思想,就是学术环境一定要有自由,一不要受政治的影响,二不要受功利心的影响。&/p&&p&&br&&/p&&h2&&b&&i&7. &/i&笔胜于剑&/b&&/h2&&figure&&img src=&https://pic2.zhimg.com/50/v2-0aecc6cf9208fbb260d84a_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&900& data-rawheight=&645& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic2.zhimg.com/50/v2-0aecc6cf9208fbb260d84a_r.jpg&&&/figure&&p&&b&如果我要总结整个人类文明几千年的历史,用一句话来描写,我会说“笔胜于剑”&/b&,笔远远比剑来得更重要。&/p&&p&历史上,亚历山大征服了世界。他有两位老师,一位是他的父亲腓力二世,教他怎么用武力征服已知的世界。另一位老师叫亚里士多德,同样教他改变世界,不是用武力,而是知识,真正把人类的知识彻底整合,彻底征服。&/p&&p&&b&所以亚历山大有两个改变世界的志向:一是征服人类已知的世界&/b&,他打到阿富汗时痛苦一场,认为下面没有可以征服的地方;&b&二是亚历山大图书馆&/b&,他的目标是收集人类所有的书籍。&/p&&p&他征服过来的帝国,在他过世一年之内就全部崩溃,但他真正给人类文明留下的是亚历山大图书馆,由于信息极端密集,也吸引了很多学者汇聚,影响了人类历史。&/p&&p&这个道理很简单,但大家在用的时候,往往不知道它的深意,希望大家能通过这些故事深入思考。&/p&&p&&br&&/p&&h2&&b&&i&8. &/i&隐形的手&/b&&/h2&&figure&&img src=&https://pic4.zhimg.com/50/v2-a579183cab36e_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&900& data-rawheight=&616& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic4.zhimg.com/50/v2-a579183cab36e_r.jpg&&&/figure&&p&&b&如果讲起经济学,也要有一句话,我想就是亚当斯密所讲的,“市场是一个隐形的手”。&/b&&/p&&p&这句话的道理,我想大家已经讲得很多,但是做起来,往往会不太明白,尤其是政府在做事情的时候,往往就有一个无形的手就会变成一个有形的手。&/p&&p&但是这个道理非常的深刻,&b&你在用有形的手干预市场的话,很短时间内可能会有些效果,但肯定不能打造百年老店,不可能形成千年思想。&/b&&/p&&p&&br&&/p&&h2&&b&&i&9. &/i&大道至简&/b&&/h2&&figure&&img src=&https://pic4.zhimg.com/50/v2-b9ed61bed3b53e6d2034e_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&900& data-rawheight=&601& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&https://pic4.zhimg.com/50/v2-b9ed61bed3b53e6d2034e_r.jpg&&&/figure&&p&刚才这些都是西方人留下的思想,我们&b&中国千年的文明,留下的思想哪一句应该写到信封背面呢?“大道至简”。&/b&&/p&&p&很多人说起谁牛,就说是专家,其实专家并不牛,把大道用简单的话讲出来,让人人都听懂,这才是真正牛的。&/p&&p&千年思想的确最最精华的都是大道至简,你看宇宙美妙在哪儿?E=MC?这样一个公式,能够描写小到原子,大到宇宙。&b&真理的共通点就是“大道至简”。&/b&&/p&&p&讲个故事,4的根号等于几?很简单,2和-2,英国理论物理学家、量子力学的奠基者之一狄拉克初中时,就觉得这个回答非常非常奇妙,为什么开根号的时候总是有一个正根,有一个负根?&/p&&p&他突然想到把这个原理推广了一下,就说宇宙上面所有的基本粒子,都有个反粒子,有个电子就有个反电子,有个质子就有个反质子,有个中子就有个反中子,这是个非常非常神奇的发现。&/p&&p&所以,科学大师,你看他为什么能够做出这些伟大的科学发现?就是他始终没有忘记“大道至简”,后来狄拉克得到了诺贝尔奖。&/p&&p&&br&&/p&&blockquote&本文根据张首晟在混沌大学的课程整理而成。只看回答不够过瘾?&b&戳此领取?&a href=&//link.zhihu.com/?target=http%3A//hdyxs.hundun.cn/Repo/sevendays/index.html%3FchannelType%3DZH& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&混沌大学7天VIP身份&/a&,可以任意观看混沌大学200堂经典课程视频。&/b&(包括张首晟教授课程在内)&/blockquote&
以下是张首晟推荐的人类最伟大的9大思维模型。1. 自然界三大基本常数作为一个物理学家,我觉得人类文明最高的建树还是科学真理。科学真理最重要的是两点,一是能量,二是信息。 对能量最深刻的认识来自爱因斯坦,如果总结人类最知名的公式,E=mc?是首选…
谢邀。看到楼上已经有人分享了天猫得福的推荐架构。淘宝和天猫推荐算法都不会有太大差别。淘宝的数据现状清楚了,方法也就是基本清楚了。淘宝上有大量的搜索推荐,猜你喜欢,店内推荐,交易链路推荐等等。&br&&br&
以最常见的个性化推荐来说,那么问题来了:&br&
1.你现在有非常结构化完善的用户-商品的几种重要行为数据(浏览,收藏,购买,加购), 同时你有一个相对来说比较完善的商品的类目体系(商品按类划分),这时候大概该推荐些什么类目的商品是不是很清楚了? 商品之间的关系是不是通过各种关联关系也可以计算出来了?&br&&br&
2.好了,完成了第一题,现在开始第二题了,老板说,这个场景不行啊,按照你的方法,点击率才百分之1.8(虚构),你上半年的kpi是点击率提高到2%(也就是提高了5%)。然后你发现了你还知道商品一些其他信息,比如商品的属性(连衣裙是什么size,什么款式),你还知道了商品的历史所有销量的变化,还知道了商品的评价,店铺的好坏,你发现似乎你的推荐可以变得更加精准了。于是你挖掘了更多可以影响用户点击和转化的因素,然后学习了andrew ng的入门机器学习课程,混合了几种看得见的因素和第一题中得到的模型,完成了半年了kpi. 点击率涨到了2%.&br&&br&
3.老板看你好像很闲的样子,说,不行,这个场景流量还是挺大的,我看你根骨奇佳,下半年的kpi就是涨到点击率2.5%,然后你就瞎了,你发现上面两道简单粗暴的方法似乎对于现在的场景很难提高了。然后你已经精通了机器学习分类模型入门,你发现淘宝天猫的用户一般来说对于某些品牌,对于某些类目的偏好似乎并不是简单的加权,你发现了有些用户好几天看了几次也没买但是加购了,有些用户好久

我要回帖

更多关于 深入浅出BP神经网络算法的原理 的文章

 

随机推荐