如何学习scala，akka，play framework_百度知道用AWS、Scala、Akka、Play、MongoDB和Elasticsearch构建社交音乐服务
Serendip.me的前首席架构师Rotem Hermon撰文介绍了初创音乐服务Serendip.me在架构及扩展方面所考虑的内容。Serendip.me为人们提供社交音乐服务，帮助人们发现朋友们分享的优秀音乐，并为他们介绍“知音” -那些靠近他们的社交圈子，有相似音乐品味的陌生人。Serendip运行在AWS之上，采用了如下这些技术：scala (还有一些Java), akka (用来处理并发), Play框架 (Web和API前端), MongoDB和Elasticsearch。Serendip的主要功能是从公共音乐服务中收集Twitter上分享的所有音乐，所以它需要处理大量的数据，所以Serendip在选择语言和技术时，首先要考虑它们的扩展能力。因为JVM久经考验的性能和工具，并且还有很多采用这门语言开发的开源系统（比如Elasticsearch），所以他们选择JVM作为系统的基石。而在JVM的体系中，scala又脱颖而出，成为了一个有趣的选择。Scala可以用现代的方式写代码，又可以跟Java全面互通。此外还有一个很重要的原因，akka actor框架是非常合适的流处理基础设施（绝对是！）。刚刚开始流行起来的Play框架看起来也很不错。Serendip开始于2011年初，当时这些都是非常前沿的技术。到了2011年末，scala和akka合并成Typesafe，Play也在不久之后加入。选择MongoDB是因为它对开发者友好，易用，功能集和可能的扩展能力（采用了自动分片技术）。但因为Serendip使用和查询数据的方式需要在MongoDB上创建很多大索引，而这样会很快引发性能和内存方面的问题。所以他们主要是用MongoDB存储键-值文档，还有几个需要计数器的功能依赖于它的原子增长。事实证明，这样使用时MongoDB非常牢靠。还容易操作，但主要是因为尽量避免使用分片，并且只有一个复制集（MongoDB的分片架构相当复杂）。查询数据需要一个完全成熟的搜索系统。在开源的搜索解决方案中，Elasticsearch是扩展性最强，并且面向云端的系统。它有动态索引机制，还提供了很多搜索和切面的可能性，可以在其上构建很多功能。因此，Elasticsearch成为了serendip架构中的一个中心组件。Serendip决定自己管理MongoDB和Elasticsearch，主要有两个原因。第一，Serendip要完全控制两个系统。不想在软件的升级/降级上依赖于其它元素。第二，因为serendip要处理大量数据，采用托管方案要比他们直接在EC2上自己管理昂贵得多。
一些数字Serendip的“抽水泵” (处理Twitter公众流和Facebook用户订阅源的那部分)每天要消化大概5,000,000条信息项。这些信息项要经过一系列的“过滤器”，对它们进行检测，并解析出受支持服务（YouTube、Soundcloud、Bandcamp等）上的音乐链接，还要添加一些元数据上去。抽水泵和过滤器是akka的actor，并且整个过程是用单个m1.large EC2管理的。如果需要，可以用akka的远程actor将任务分发到集群中，轻松实现系统扩展。从这些信息项中，Serendip每天大概能得到850,000条有效的信息项(也就是真的包含相关音乐链接的信息项)。这些信息项在Elasticsearch中索引(还要在MongoDB中备份并持续计数)。因为每条有效的信息项都要更新几个对象，所以在Elasticsearch中的索引率大约为40条/秒。Serendip在Elasticsearch中保留一个月的信息项索引(微博和帖子)。每个月的索引大概包含25M信息项，有3个分片。集群运行着4个节点，每个都在m2.2xlarge实例上。这个配置有足够的内存运行Serendip所需的数据搜索。Serendip的MongoDB集群的操作频率大概是100次写/秒和300次读/秒，因为它处理更多的数据类型、技术和统计数据更新。复制集的主节点跑在一个m2.2xlarge实例上，副节点在一个m1.xlarge实例上。
构建订阅源在设计Serendip主音乐订阅源的架构时，想让订阅源是动态的，并且可以根据用户的动作和输入作出反应。比如说，如果某位用户将一首歌标为“摇滚”，或将某位艺术家标为“趾高气昂”，那么这些动作应该马上反应到订阅源上。如果用户“不喜欢”一位艺术家，那以后就不应该再播放那些音乐。并且这个订阅源应该是几个源头的组合，比如朋友分享的音乐，喜爱的艺术家的音乐，以及有相同音乐品味的“建议”用户分享的音乐。这些需求意味着那种“fan-out-on-write”式的订阅源创建方式可能并不合适。应该实时构建订阅源，把跟用户相关的所有信号都用上。Elasticsearch的功能可以构建出这种实时的订阅源生成器。订阅源算法有几种选择信息项的“策略”，在每次订阅源的获取上都根据不同的比率动态组合。每个策略都会考虑到用户最近的动作和信号。策略的组合被转换成几种对鲜活数据的搜索，这些数据是不断地由Elasticsearch索引的。因为这些数据是基于时间的，并且索引每月创建一次，所以只需要查询全部数据中的一小部分子集。Elasticsearch非常擅于处理这些搜索。它还提供了一种扩展这种架构的著名路径-通过增加分片数量扩展写操作。通过增加更多的复制和物理节点扩展搜索。寻找“知音”的过程（根据用户的音乐品味进行匹配）充分利用了Elasticsearch的切面（聚合）能力。作为持续不断的社交流处理的一部分，系统通过计算顶级分享的艺术家来为它遇到的社交网络用户准备数据（在他们分享的音乐上使用切面搜索）。当Serendip用户给出一个信号（播放音乐或跟订阅源交互）时，它能为那位用户重新触发一次知音计算过程。这个算法按照喜爱艺术家（这个是不断在更新的）列表来寻找匹配程度最高的其他用户，并用一些额外的参数作为权重，比如流行程度、分享次数等。然后再用另一组算法过滤掉垃圾邮件发送者（是的，有音乐垃圾邮件发送者）和异常值。实践证明，这种处理能得出很好的结果，并不需要再用一套系统来运行更加复杂的聚类或推荐算法。
监测与部署Serendip用ServerDensity做系统监测和报警。对于初创公司而言，它是一种易于使用的托管方案，有像样的功能集和合理的价格。ServerDensity原生提供了服务器和MongoDB的监测。Serendi还大量使用了它报告定制指标的能力来报告内部系统统计数据。内部统计数据采集机制负责采集系统内发生的所有动作，并把它们保留在一个MongoDB集合内。一个定期任务每隔一分钟从MongoDB中读取一次这些统计数据，并报告给ServerDensity。这样就可以用ServerDensity对Elasticsearch及运营数据进行监测和报警。服务器的管理和部署是用亚马逊Elastic Beanstalk完成的。Elastic Beanstalk是AWS的受限PaaS解决方案。很容易上手，但它不是功能完整的PaaS，对于大部分常见用例而言，它的基本功能已经足够了。它提供了易用的自动扩展配置，还可以通过EC2完整访问。应用程序的构建是由EC2上的Jenkins实例执行的。Play程序被打包成WAR。一个构建后置脚本将这个WAR作为新版本推送到Elastic Beanstalk上。这个新版本不会自动部署到服务器上-它的部署是手动完成的。通常是先部署到临时环境中进行测试，然后经过证实后再部署到生产环境中。
外卖作为结论，这里有一些在构建Serendip的过程中得到的最重要的经验教训，重要程度跟顺序没什么关系。知道如何扩展。一开始你可能并不需要扩展，但你得知道系统的每一部分能够如何扩展，以及能扩展到什么程度。如果扩展需要时间，要预先给你自己留出充足的时间。
为峰值做好准备。特别是在创业阶段，如果你总是接近满负荷运行，一个lifehacker或reddit帖子就能把你的系统宕掉。保留充足的边界空间，这样才能应对突发负载，或时刻准备好真正快速地扩展。
选择一门不会拖你后腿的语言。确保你所采用的技术在你的语言中有原生客户端，或者至少有维护得很活跃的一些。不要被等着类库更新给拖住。
相信炒作。你想要技术跟你的产品共同成长，不会过早死掉。一个充满活力的活跃社区，以及跟该项技术有关的一些噪音，是这种技术存活的良好迹象。
不要相信炒作。看看那些批判你正在评估的技术的帖子。它们可以告诉你它的弱点。但也不要太认真，当事情不能按照期望工作时，人们通常会变得情绪化。
玩得开心点。选择会让你兴奋的技术。要能让你觉得“哦，我能用它做的事情太酷啦”。毕竟那（也）是我们来这里的目的。
> 本站内容系网友提交或本网编辑转载，其目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请及时与本网联系，我们将在第一时间删除内容！
1. 安装mongodb数据库 mongodb官方网址:https://www.mongodb.org
安装好之后的步奏: 第一步:规划你的安装目录和数据库文件的存储路径,我打算将Mongo的程序文件放置C:\mongodb ,将数据库文件放置在D:\Mongodb. 第二步:将下载的文件放到C:\mongodb 第三步:创建mongo的日志目录和配置文 ...
MongoDB是一款开源的NoSQL数据库,主要应用于数据规模庞大的场合,并被视为Node.js的黄金搭档,由于它采用的是Binary JSON格式,所以与JavaScript具有任何语言都无法媲美的亲和力.关于它的具体介绍本文不作详细阐述,下面主要针对MongoDB在Windows下加入本地服务项做一些简单的分享.以方便刚接触MongoDB并在Window ...
Eventsourced 使用指南 萧猛(译)&& Revision History Revision 0.2
说明 本文是EventSourced库使用指南的中文译稿,基于EventSourced 0.6.0. 概述 Eventsourced 库为Actor 的持久化提供了可缩放的解决方案, ...
用C#写完之后,拿akka重写了一遍,算是对我最近学习Scala的一个总结 小弟也是初学,各位大侠见笑了! Akka核心为actor,actor是一种模式,以消息传递的并发模式 使用的是idea 开发,库管理用的maven 下图是我的设计: 首先是消息类,使用样本类作为消息体: /** * 消息体,使用样本类作为消息体 */ trait WordMessag ...
对于 A =& B =& C 这种 future 之间的操作,akka 默认会自动的按照顺序执行,但对于数据库操作来说,我们希望几个操作顺序执行,就需要使用语法来声明
有两种声明 future 先后关系的方法,第一种是 flatMap,第二种是 for import scala.concurrent.Future import scala.c ...
简介编辑 Akka 是一个用 Scala 编写的库,用于简化编写容错的.高可伸缩性的 Java 和 Scala 的 Actor 模型应用.它已经成功运用在电信行业.系统几乎不会宕机(高可用性 99.9 % 一年只有 31 ms 宕机 Actor模型并非什么新鲜事物,它由Carl Hewitt于上世纪70年代早期提出,目的是为了解决分布式编程中一系列的编程问题 ...
假设我需要根据标题和标签来搜索文章. 索引问题 在 elasticsearch 中对文章的标题和标签进行索引之后,是否有必要在 mongodb 中对文章的标题和标签进行索引?因为在 elasticsearch 中可以得到文章的 id ,然后可以直接使用文章的 id 进行查询,这种情况下是不是只对文章 id 进行索引就可以了? 分页问题 在不是用 elasti ...
Akka下载 简介 Akka 是一个用 Scala 编写的库,用于简化编写容错的.高可伸缩性的 Java 和 Scala 的 Actor 模型应用.它已经成功运用在电信行业.系统几乎不会宕机(高可用性 99.9999999 % 一年只有 31 ms 宕机 Actor模型并非什么新鲜事物,它由Carl Hewitt于上世纪70年代早期提出,目的是为了解决分布式 ...用AWS、Scala、Akka、Play、MongoDB和Elasticsearch构建社交音乐服务 - 推酷
用AWS、Scala、Akka、Play、MongoDB和Elasticsearch构建社交音乐服务
的前首席架构师
介绍了初创音乐服务Serendip.me在架构及扩展方面所考虑的内容。
Serendip.me为人们提供社交音乐服务，帮助人们发现朋友们分享的优秀音乐，并为他们介绍“知音” -那些靠近他们的社交圈子，有相似音乐品味的陌生人。
Serendip运行在AWS之上，采用了如下这些技术：
(还有一些Java),
(用来处理并发),
(Web和API前端),
技术栈的选择
Serendip的主要功能是从公共音乐服务中收集Twitter上分享的所有音乐，所以它需要处理大量的数据，所以Serendip在选择语言和技术时，首先要考虑它们的扩展能力。
因为JVM久经考验的性能和工具，并且还有很多采用这门语言开发的开源系统（比如Elasticsearch），所以他们选择JVM作为系统的基石。
而在JVM的体系中，scala又脱颖而出，成为了一个有趣的选择。Scala可以用现代的方式写代码，又可以跟Java全面互通。此外还有一个很重要的原因，akka actor框架是非常合适的流处理基础设施（绝对是！）。刚刚开始流行起来的Play框架看起来也很不错。Serendip开始于2011年初，当时这些都是非常前沿的技术。到了2011年末，scala和akka合并成
，Play也在不久之后加入。
选择MongoDB是因为它对开发者友好，易用，功能集和可能的扩展能力（采用了自动分片技术）。但因为Serendip使用和查询数据的方式需要在MongoDB上创建很多大索引，而这样会很快引发性能和内存方面的问题。所以他们主要是用MongoDB存储键-值文档，还有几个需要计数器的功能依赖于它的原子增长。
事实证明，这样使用时MongoDB非常牢靠。还容易操作，但主要是因为尽量避免使用分片，并且只有一个复制集（MongoDB的分片架构相当复杂）。
查询数据需要一个完全成熟的搜索系统。在开源的搜索解决方案中，Elasticsearch是扩展性最强，并且面向云端的系统。它有动态索引机制，还提供了很多搜索和切面的可能性，可以在其上构建很多功能。因此，Elasticsearch成为了serendip架构中的一个中心组件。
Serendip决定自己管理MongoDB和Elasticsearch，主要有两个原因。第一，Serendip要完全控制两个系统。不想在软件的升级/降级上依赖于其它元素。第二，因为serendip要处理大量数据，采用托管方案要比他们直接在EC2上自己管理昂贵得多。
Serendip的“抽水泵” (处理Twitter公众流和Facebook用户订阅源的那部分)每天要消化大概5,000,000条信息项。这些信息项要经过一系列的“过滤器”，对它们进行检测，并解析出受支持服务（YouTube、Soundcloud、Bandcamp等）上的音乐链接，还要添加一些元数据上去。抽水泵和过滤器是akka的actor，并且整个过程是用单个m1.large EC2管理的。如果需要，可以用akka的远程actor将任务分发到集群中，轻松实现系统扩展。
从这些信息项中，Serendip每天大概能得到850,000条有效的信息项(也就是真的包含相关音乐链接的信息项)。这些信息项在Elasticsearch中索引(还要在MongoDB中备份并持续计数)。因为每条有效的信息项都要更新几个对象，所以在Elasticsearch中的索引率大约为40条/秒。
Serendip在Elasticsearch中保留一个月的信息项索引(微博和帖子)。每个月的索引大概包含25M信息项，有3个分片。集群运行着4个节点，每个都在m2.2xlarge实例上。这个配置有足够的内存运行Serendip所需的数据搜索。
Serendip的MongoDB集群的操作频率大概是100次写/秒和300次读/秒，因为它处理更多的数据类型、技术和统计数据更新。复制集的主节点跑在一个m2.2xlarge实例上，副节点在一个m1.xlarge实例上。
构建订阅源
在设计Serendip主音乐订阅源的架构时，想让订阅源是动态的，并且可以根据用户的动作和输入作出反应。比如说，如果某位用户将一首歌标为“摇滚”，或将某位艺术家标为“趾高气昂”，那么这些动作应该马上反应到订阅源上。如果用户“不喜欢”一位艺术家，那以后就不应该再播放那些音乐。
并且这个订阅源应该是几个源头的组合，比如朋友分享的音乐，喜爱的艺术家的音乐，以及有相同音乐品味的“建议”用户分享的音乐。
这些需求意味着那种
式的订阅源创建方式可能并不合适。应该实时构建订阅源，把跟用户相关的所有信号都用上。Elasticsearch的功能可以构建出这种实时的订阅源生成器。
订阅源算法有几种选择信息项的“策略”，在每次订阅源的获取上都根据不同的比率动态组合。每个策略都会考虑到用户最近的动作和信号。策略的组合被转换成几种对鲜活数据的搜索，这些数据是不断地由Elasticsearch索引的。因为这些数据是基于时间的，并且索引每月创建一次，所以只需要查询全部数据中的一小部分子集。
Elasticsearch非常擅于处理这些搜索。它还提供了一种扩展这种架构的著名路径-通过增加分片数量扩展写操作。通过增加更多的复制和物理节点扩展搜索。
寻找“知音”的过程（根据用户的音乐品味进行匹配）充分利用了Elasticsearch的切面（聚合）能力。作为持续不断的社交流处理的一部分，系统通过计算顶级分享的艺术家来为它遇到的社交网络用户准备数据（在他们分享的音乐上使用切面搜索）。
当Serendip用户给出一个信号（播放音乐或跟订阅源交互）时，它能为那位用户重新触发一次知音计算过程。这个算法按照喜爱艺术家（这个是不断在更新的）列表来寻找匹配程度最高的其他用户，并用一些额外的参数作为权重，比如流行程度、分享次数等。然后再用另一组算法过滤掉垃圾邮件发送者（是的，有音乐垃圾邮件发送者）和异常值。
实践证明，这种处理能得出很好的结果，并不需要再用一套系统来运行更加复杂的聚类或推荐算法。
监测与部署
Serendip用
做系统监测和报警。对于初创公司而言，它是一种易于使用的托管方案，有像样的功能集和合理的价格。ServerDensity原生提供了服务器和MongoDB的监测。Serendi还大量使用了它报告定制指标的能力来报告内部系统统计数据。
内部统计数据采集机制负责采集系统内发生的所有动作，并把它们保留在一个MongoDB集合内。一个定期任务每隔一分钟从MongoDB中读取一次这些统计数据，并报告给ServerDensity。这样就可以用ServerDensity对Elasticsearch及运营数据进行监测和报警。
服务器的管理和部署是用亚马逊Elastic Beanstalk完成的。Elastic Beanstalk是AWS的受限PaaS解决方案。很容易上手，但它不是功能完整的PaaS，对于大部分常见用例而言，它的基本功能已经足够了。它提供了易用的自动扩展配置，还可以通过EC2完整访问。
应用程序的构建是由EC2上的Jenkins实例执行的。Play程序被打包成WAR。一个构建后置脚本将这个WAR作为新版本推送到Elastic Beanstalk上。这个新版本不会自动部署到服务器上-它的部署是手动完成的。通常是先部署到临时环境中进行测试，然后经过证实后再部署到生产环境中。
作为结论，这里有一些在构建Serendip的过程中得到的最重要的经验教训，重要程度跟顺序没什么关系。
知道如何扩展。
一开始你可能并不需要扩展，但你得知道系统的每一部分能够如何扩展，以及能扩展到什么程度。如果扩展需要时间，要预先给你自己留出充足的时间。
为峰值做好准备。
特别是在创业阶段，如果你总是接近满负荷运行，一个lifehacker或reddit帖子就能把你的系统宕掉。保留充足的边界空间，这样才能应对突发负载，或时刻准备好真正快速地扩展。
选择一门不会拖你后腿的语言。
确保你所采用的技术在你的语言中有原生客户端，或者至少有维护得很活跃的一些。不要被等着类库更新给拖住。
相信炒作。
你想要技术跟你的产品共同成长，不会过早死掉。一个充满活力的活跃社区，以及跟该项技术有关的一些噪音，是这种技术存活的良好迹象。
不要相信炒作。
看看那些批判你正在评估的技术的帖子。它们可以告诉你它的弱点。但也不要太认真，当事情不能按照期望工作时，人们通常会变得情绪化。
玩得开心点。
选择会让你兴奋的技术。要能让你觉得“哦，我能用它做的事情太酷啦”。毕竟那（也）是我们来这里的目的。
查看英文原文:
已发表评论数()
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
标题不准确
排版有问题
主题不准确
没有分页内容
图片无法显示
视频无法显示
与原文不一致统计网导读&本文从安装、基础数据类型、运算符、函数等七个方面系统介绍了Scala的语言特性。不仅是Python程序员，任何有编程经验或者希望入门的人都可以看看，对Scala做一个基础的认识。随着业务和数据的需要，我们引入了Spark。Spark对Python的支持还是挺好的，但毕竟它还是使用Scala开发的，且现有的API并没有100%覆盖Python。所以就有了这篇文章，让Python程序员可以接触Scala这门更高（级）、更快（速）、更强（大）的（奥运精神）语言。Scala兼具Python样的开发效率，但又有Java般的执行性能，真是一不可多得的神器！（当然，鱼和熊不可兼得，Scala的入门曲线相比Python是要那么陡峭一丢丢）1安装一般Linux系统都自带Python环境，但Scala是没有的。这需要我们手动安装，还需要安装Java环境。Java环境的安装这里就不介绍了，网上很多。说说Scala的安装吧。下载地址在http://scala-lang.org/download/2.11.7.html。123456789wget -c http:tar zxf scala-2.11.7cd scala-2.11.7./bin/scalaWelcome to Scala version 2.11.7 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60).Type in expressions to have them evaluated.Type :help for more information.scala&我们可以看到终端出现了scala&提示符，这个就像Python的REPL一样，Scala也拥有一个REPL。我们可以在这里很方便的编写一些代码，测试一些想法。对于Scala常用的IDE（集成开发环境），推荐使用IDEA for scala plugins和scala-ide。Scala的强大，除了它自身对多核编程更好的支持、函数式特性及一些基于Scala的第3方库和框架（如：Akka、Playframework、Spark、Kafka……），还在于它可以无缝与Java结合。所有为Java开发的库、框架都可以自然的融入Scala环境。当然，Scala也可以很方便的Java环境集成，比如：Spring。若你需要第3方库的支持，可以使用Maven、Gradle、Sbt等编译环境来引入。Scala是一个面向对象的函数式特性编程语言，它继承了Java的面向对特性，同时又从Haskell那里吸收了很多函数式特性并做了增强。2Hello, world.通常情况下，Java系的程序都需要有一个main方法来执行。并需要放入一个Web container容器，或打成一个jar包来执行。但是Scala不一样，它除了支持传统的Java方式，它也可以像Python一样把代码保存到一个脚本文件里（.scala）执行，就像一个Shell脚本一样。12345678yangjing-mac-air:scala-2.11.7 jingyang$ cat test.scala #!/bin/shexec scala "$0" "$@"!// Say hello to the first argumentprintln("Hello, "+ args(0) +"!")yangjing-mac-air:scala-2.11.7 jingyang$ ./test.scala 杨景Hello, 杨景!（注：需要把$SCALA_HOME/bin加入系统环境变量才能直接执行scala命令）可以看到，使用Scala，你除了像传统的Java程序一样把它做为一个“服务”的方式来启动，你也可以把它像Python一样做为一个“脚本”来启动。（注意：Scala不像Python一样通过代码缩进来表示代码的层次关系，而是和通常的语言一样使用{}来表示代码的层级。给程序员更多的自由）3变量、基础数据类型Scala中变量不需要显示指定类型，但需要提前声明。这可以避免很多命名空间污染问题。Scala有一个很强大的类型自动推导功能，它可以根据右值及上下文自动推导出变量的类型。你可以通过如下方式来直接声明并赋值。1234567891011scala& val a = 1a: Int = 1scala& val b = trueb: Boolean = truescala& val c = 1.0c: Double = 1.0scala& val a = 30 + "岁"a: String = 30岁Immutable（注：函数式编程有一个很重要的特性：不可变性。Scala中除了变量的不可变性，它还定义了一套不可变集合scala.collection.immutable._。）val代表这是一个final variable，它是一个常量。定义后就不可以改变，相应的，使用var定义的就是平常所见的变量了，是可以改变的。从终端的打印可以看出，Scala从右值自动推导出了变量的类型。Scala可以如动态语言似的编写代码，但又有静态语言的编译时检查，不会像Python一样留下很多陷阱在运行多时以后才被发现。（注：在RELP中，val变量是可以重新赋值的，这是｀RELP`的特性。在平常的代码中是不可以的。）基础数据类型Scala中基础数据类型有：Byte、Short、Int、Long、Float、Double，Boolean，Char、String。和Java不同的是，Scala中没在区分原生类型和装箱类型，如：int和Integer。它统一抽象成Int类型，这样在Scala中所有类型都是对象了。编译器在编译时将自动决定使用原生类型还是装箱类型。字符串Scala中单引号和双引号包裹是有区别的，单引号用于字符，双引号用于字符串。12345678910111213141516scala& val c1 = 'c'c1: Char = cscala& val 字符2 = '杨'字符2: Char = 杨scala& val s1 = "杭州誉存科技有限公司"s1: String = 杭州誉存科技有限公司scala& val s2 = s"杭州誉存科技有限公司工程师${c2}景"s2: String = 杭州誉存科技有限公司工程师杨景scala& val s3 = s"""杭州誉存科技有限公司"工程师"\n${c2}景是江津人"""s3: String =杭州誉存科技有限公司"工程师"杨景是江津人Scala基于JVM平台，默认使用unicode，所以变量名是可以直接用中文的。而在Scala中，中文也是直接显示的，不像Python2一样会输出成unicdoe编码形式：\uxxxx。Scala还支持String Interpolation爱数据(lovedatacn)　
　文章为作者独立观点，不代表微头条立场
的最新文章
人生活的世界上好比一只船在大海中航行，最重要的是要辨清前进的方向。
| 课程介绍
本课程是在“大数据高校联盟”群里面分享的视频。
根据从大数据高效联盟群里面收集到的问题，数据海洋老师进行了整理归类并结合了自己的经验和经历。“大数据”到底是什么？这个概念乍看上去相当模糊，却越来越多的渗入到了我们日常的生活。无论你从事什么行业，无论大数据时代，你可以利用数据便捷你的生活。因为大数据具有预知性，所以能帮你出主意，特别是在“黄金堵”的日子。以智能手机已经很普及，大多数的人们都拿着具有定位功能的手机，而4G网络又是这样的覆盖广泛，以至于我们每个人的行Kindle里有一本刷了3遍的书，一直不舍得删，这本书的名字叫做《不去会死》，讲述一个普通日本上班族在经历了关于数据分析师，举一个巴菲特的例子。他不会挖掘算法，不会建模，但是他有一套自己的分析问题，解决问题的模型框架自美国白宫发布2014年全球“大数据”白皮书后，还发布了很多白皮书，主要针对大数据应用推广价值进行研究，掀起了大数据应用热潮，国内企业也借鉴其中的研究结论调整自己的发展方向。美国招聘网站glassdoor公布了2016年美国最好的工作排名， 主要基于工作缺口，职业前景和薪水这三方面进行排名，一起来看看这些职业和你专业的相关度吧！本书是经典教程的全新改版，层次鲜明、结构严谨、内容翔实。特别是在最后几章，作者将前面讲述的内容应用到了10个引人入胜的项目中，并以模板的形式介绍了项目的开发过程。数据科学需要哪些技能?如何才能学会这些技能?从求职市场的角度来看的话，怎样做才能最大化在数据科学岗位上被录用的机会?本文将一一为你解答~| 课程介绍本课程主要是讲师结合自身多年的行业经验和丰富技能知识，通过知识讲解和实战案例分享，为广大学员解析智慧只是天才的配料，勤奋才是天才的本身。
| 课程介绍
线性回归模型是一种基础但应用场景非常广的分析模型，它通过研究多个自变量与因变量的线性相关关系，构建出可量化的预测模型，进而将模型应用到业务生产的各个环节，优化业务逻辑……时间太瘦指缝太宽
| 课程介绍
本系列课程的讲师-数据海洋，曾任1号店数据分析总监，曾就职于支付宝等一线互联网企业的关键数据岗位，实践经验丰富。我们什么都没有，
唯一的本钱就是青春。
梦想让我与众不同，
奋斗让我改变命运！
| 学习目标
本课程结合大量的案例，让学习者可以快速掌握数据分析技能，并利用R实现各种数据挖掘模型的建立。数据整理，是将原始数据转换成方便实用的格式，实用工具有DataWrangler和R。数据可视化，是创建和研究数据的视觉表现，实用工具有ggvis，D3，vega。数据报表是将数据分析和结果制作成报告。也是数据分析师的一个后续工作。就目前发展阶段看来，全球大数据大致可分为7大阵营：大数据基础架构阵营、大数据分析阵营、大数据应用阵营、架构与分析跨界阵营、大数据开源阵营、数据源与API阵营、孵化器与培训阵营。一起来看看你是属于哪一队，又或是期待有更多的充实？今天许多企业都在努力解决一个大问题：如何管理我们的数据?在收集资料的同时，如何分析和理解更为复杂的大数据?国庆中秋双节将至，“最堵”九月的消息铺天盖地，为何九月屡屡躺枪为秋意渐浓的全国各地添堵?九月的全国各地到底有多堵?大数据可以来自方方面面，从生活中的购物交易，到工业上的生产制造;从社交网络媒体信息,到企业化管理决策大数据作为目前IT行业最重要的前进方向之一,已经吸引了众多IT企业的目光。大数据时代，我们有很多的查询工具可以选择。虽然SQL占据着绝对优势，但是随着大数据的持续升温，也给了Apache Pig和Hive很大的发挥空间。工欲善其事必先利其器……这是一本关于机器、系统、生物和社会的“大部头”；这是一本诞生于1994年的关于社会进化、特别是互联网发展的“先知预言”……王国维在《人间词话》中将读书分为了三种境界：“古今之成大事业、大学问者，必经过三种之境界：‘昨夜西风凋碧树，独上高楼，望尽天涯路’。电子工业出版社联合中国统计网精心策划的“大数据系列丛书”作者招募工作正式启动！在这里不仅有优质收入、迅速增长的粉丝及知名度，还有出版社专业编辑全程辅助指导，两大平台联合推广！梦想是要有的，我们来帮你实现~信息时代，大数据平台承载了来自于个人计算机、移动智能终端、可穿戴设备、智能家居设备及智能汽车等个人、企业及国家层面的巨大数据资源，必然成为黑客组织、各类敌对势力网络攻击的重要目标。当电子渠道数据分析人员从业经验缺乏时，企业是否可以构建良好的大数据中或DMP呢？这本书没有让你避之不及的数学公式，没有满是数字的图表，没有空洞乏味的教科书式说教；这本书有生动诙谐的案例，有你熟悉的生活话题和社会问题，有你一定用得到的统计学知识，有大数据时代的“游戏...数据如何能够让我们对未来的预测做出一些反应，最重要的是从企业的需求和未来业务的发展角度，讨论如何做一款比较成功的大数据项目……本文将介绍十种不那么有名的机器学习项目，你也可能从这些项目中获得一些不错的启发。不建议你去尝试所有的项目，但是如果里面刚好有你需要的某个功能，请尽管去试一试。先说说写一份好的数据分析报告的重要性，很简单，因为分析报告的输出是是你整个分析过程的成果，是评定一个产品、一个运营事件的定性结论，很可能是产品决策的参考依据，既然这么重要那当然要写好它了。二八法则，除八成业绩来自二成客户外，你还看到什么？当市场占有率在15%上下徘徊时，该退出还是继续熬下去？跟老板、客户意见相左时，要用怎样的数据来说服他们？各个企业对这类岗位的命名可能有所不同，比如数据挖掘/自然语言处理/机器学习算法工程师，或简称算法工程师，还有的称为搜索/推荐算法工程师，甚至有的并入后台工程师的范畴，视岗位具体要求而定。数据挖掘目前在各类企业和机构中蓬勃发展。因此我们制作了一份此领域常见术语总结，希望你喜欢。随着大数据工具数量的增长和计算能力的飞跃，数据科学家越来越多地发现，如果他们想从自己的模型中获得最佳性能，那就必须考虑所使用的数据管道。有了大数据，我们可以存储和分析健康档案数据来预测去看医生的可能性，或分析我们日常支出来确定最佳省钱方案，或甚至分析我们的日历去调整日程安排，变得更高效。然而，为什么我们不能用大数据预测恋爱成功或者分手的可能性呢？本书的一个明确目标是整合变换方法和潜在变量方法，它们是两类不同但又相互补充的处理分类数据分析的传统方法。这也是第一次在一单册书中严密地介绍针对离散因变量、交叉分类和跟踪数据的模型和方法。目前还没有看到有类似的著作。还在为自己无一技之长而忧愁吗？还在为自己找不到工作而烦恼吗？还在为自己将来而担心吗？来Get新时代新技能——真实数据分析师细节决定成败，思路清晰、言简意赅的代码让程序员一目了然;而格式凌乱、拖沓冗长的代码让程序员一头雾水。除了可以正确运行以外，优秀的代码必须具备良好的可读性，编写的代码要使其他人能在最短的时间内理解才行。本书旨在强调代码对人的友好性和可读性。作为数据分析师的你可谓前景广阔，有一大批公司乖乖站在你家门前挂着牌子等着你的挑选。但是在评估到底去哪家公司的平台上施展你的才华的时候，却是有着很多考量的。我们从出生开始如果没思考过人生本身这件事情，一切按照社会的习惯前行，那人生是没有意义的。因为你连人生都没有想过。Spark对Python的支持还是挺好的，但毕竟它还是使用Scala开发的，且现有的API并没有100%覆盖Python。所以就有了这篇文章，让Python程序员可以接触Scala这门更高（级）、更快（速）、更强（大）的（奥运精神）语言。不知道为什么，最近发文章越来越猥琐，什么酒吧门口撩妹指南、女明星身材火辣度，大湿的节操已碎成渣渣。本期内容是多指标综合评价方法，之前《怎样用数据分析找对象》一文中，多指标综合评价仅仅只是数据标准化和权重，本期给大家介绍更有bigger的方法本书是国外大数据研究的先河之作，作者维克托·迈尔·舍恩伯格被誉为"大数据商业应用第一人"。这本书分别从三个部分来讲述了大数据时代的思维变革和商业变革以及管理上的变革。微信公众号@数据分析微招聘，博主：赵良，数据分析职业规化导师，有兴趣可以交流一下，可以给工作三年以上的数据分析师朋友提供相关的职业规化与相关优质岗位的推荐；微信号：data_QQ:一个100000+粉丝的平台，完善的直播流程，专业的分享指导。在专注数据学习平台的路上从未停下脚步，LoveData大数据夜修行，期待志同道合的你一起来加入。这篇文章起始于一次偶然的关于我的团队中正面临的生产力问题的讨论。我们最终将问题追溯到技术平台和我们的软件工程知识。我们一组人聚在一起对于写出稳定的代码的最佳实践进行头脑风暴。本文是对这次对话的总结，并将我们的知识收集起来，取其精华至于一处。是否非常想学好 Python，一方面被琐事纠缠，一直没能动手，另一方面，担心学习成本太高，心里默默敲着退堂鼓?幸运的是，Python 是一门初学者友好的编程语言，掌握它你不必花上太多的时间和精力。本文将给你分享一些自学Python的经验~本书是《Data Structures and Algorithm Analysis in C》一书第3版的简体中译本。原书曾被评为20世纪顶尖的30部计算机著作之一。Vipin Kumar 明尼苏达大学计算机科学与工程系主任，曾任美国陆军高性能计算研究中心主任。他拥有马里兰大学博士学位，是数据挖掘和高性能计算方面的国际权威，IEEE会士。导读本文来自携程酒店研发部研发经理崔广宇在第三期【携程技术微分享】上的分享,以下为整理概要。段子手攻城狮大崔一、描述统计中位数、众数、数据分布区间可能还比较容易可以算出，但是标准差和方差等的计算就比较麻烦了，这些都是lovedatacn爱数据网（)-国内大数据领域最专业的学习社区热门文章最新文章lovedatacn爱数据网（)-国内大数据领域最专业的学习社区