【Scala-ML】如何利用Scala构建并行机器学习系统 - 简书
【Scala-ML】如何利用Scala构建并行机器学习系统
在学习Scala的过程中，我发现其在构建大规模分布式计算系统上有与生俱来的特质。其丰富的类型系统可以帮助编程设计提供很好的信息隐藏和抽象，其monoids和monads概念利用Scala高阶函数实现计算并行和数据处理流水线，其Actor系统帮助编写可伸缩性的应用程序，其实现特定领域语言的优势帮助开发用户很好克服不同语言的障碍。虽然以上Scala优点说起来不会感同身受，但这可以作为我学习的一大动力，让我开始尝试编写并行机器学习系统。在学习过程中，我主要参考《Scala for Machine Learning》一书和相关网上的资料。希望这些分享能帮助自己学习，也更好的服务有兴趣的读者。
为何使用Scala构建机器学习系统
Monoids和Monads是函数式编程的重要概念。Monoids定义了在具有闭包性质（property of closure）的数据集上的二元操作op，恒等操作（identity operation）和结合性（associativity）。下面是代码描述：
trait Monoid[T] {
def zero: T
def op(a: T, b: T): T
Monoids具有结合性的操作。假设ts1、ts2、ts3是三个时间序列，该性质保证ts1+(ts2+ts3) = (ts1+ts2)+ts3。Monoid的结合性对于计算流的并行化是很关键的。
Monads可以被认为是容器的结构，它是Monoids的推广。像是Scala标准库中的List，Map等集合被设计成monads的结构。Monads提供了以下的功能：1. 创建集合； 2. 对集合的元素进行转换； 3. 压平嵌套的集合。下面是Scala代码描述：
trait Monad[M[_]] {
def apply[T](a: T): M[T]
def flatMap[T, U](m: M[T])(f: T=&M[U]): M[U]
Monads允许集合或者容器连接起来产生一个工作流，该性质可以应用在任何科学计算中。
Actors系统使得Scala编程变得可伸缩、可扩展。Actors作为协程（coroutines），通过异步消息进行通信，管理底层的线程池。机器学习的工作流被实现成一系列的计算任务，这些任务包含了Scala的高阶方法（如flatMap,map,fold,reduce,collect,join,filter）对数据集合的操作，Scala允许actors集群对这些数据进行分割来完成计算任务。Scala还支持本地或远程的actor之间进行消息分发和消息路由。
上图中，主节点作为控制器，管理和调度四步任务。这些具体的任务通过Scala的actors实现的多个工作节点执行。主节点通过和工作节点交换消息来管理工作流的执行状态，负责可靠性。通过监督actors的层次结构来实现计算任务的高可用性。
Scala支持依赖注入（dependency injection），通过抽象变量（abstract variables）、自引用成分（self-referenced composition）和可堆叠的特质（stackable traits）的组合来实现。最常用的依赖注入的模式成为cake pattern，该模式在构建动态计算工作流中经常用到。
Scala内嵌了领域专用语言（Domain Specific Languages，DSL）。DSLs是在Scala原生库上建立的语法层，DSLs允许软件开发者抽象计算细节，更好让使用者理解。DSLs最有名的应用案例就是在Matlab中的语法形式。
计算工作流
一个计算工作流（computational workflow）可以分为以下几个步骤：
从文件或数据库中载入数据集
将数据集进行分割，用于并行的数据处理
运用过滤技术、方差分析等进行数据预处理
应用机器学习模型
在使用训练数据进行分析的过程还需要一些具体的处理：
从清洗的输入数据中选择训练集、测试集、验证集
抽取关键特征、利用聚类技术从一组相似观测中简历亲近关系
减少特征数量，避免训练数据过拟合
重复进行多次上述步骤来验证模型和调整模型
将模型进行持久化，用于新观测数据的预测和处理
评估模型表现
转载请注明作者Jason Ding及其出处Google搜索jasonding1354进入我的博客主页
http://blog.jasonding.top/
通过微信二维码订阅我的微信公众号Gradle项目中如何支持Java与Scala混合使用_服务器应用_Linux公社-Linux系统门户网站
你好，游客
Gradle项目中如何支持Java与Scala混合使用
来源：Linux社区&
作者：yjmyzz
之前写过一篇，今天来看看gradle项目中如何达到同样的效果：
一、目录结构
基本上跟maven一样，tips:这一堆目录结构不用死记，后面会讲如何用gradle命令快速生成
二、build.gradle配置
1 group 'yjmyzz'
2 version '1.0-SNAPSHOT'
4 apply plugin: 'java'
5 apply plugin: 'scala'
6 apply plugin: 'application' //可选(可自动生成shell启动脚本)
7 mainClassName = 'AppDemo' //可选（与上行的application插件配套出现）
9 //这里是关键（把java与scala的源代码目录全映射到scala上,
10 // 这样gradle compileScala时就能同时编译java与scala的源代码）
11 sourceSets {
srcDirs = ['src/main/scala', 'src/main/java']
srcDirs = []
srcDirs = ['src/test/scala', 'src/test/java']
srcDirs = []
31 //可选（项目初始化时,可用gradle cDirs生成scala及java的src目录）
32 task "createDirs" && {
sourceSets*.scala.srcDirs*.each { it.mkdirs() }
sourceSets*.java.srcDirs*.each { it.mkdirs() }
sourceSets*.resources.srcDirs*.each { it.mkdirs() }
38 repositories {
mavenLocal()
maven { url 'http://maven.oschina.net/content/groups/public/' }
mavenCentral()
44 dependencies {
compile "org.scala-lang:scala-library:2.11.7"
compile "org.scala-lang:scala-compiler:2.11.7"
compile "org.scala-lang:scala-reflect:2.11.7"
testCompile "junit:junit:4.11"
51 //可选,如果想让生成的jar可直接运行,建议加上
manifest {
attributes 'Main-Class': 'AppDemo'
这样就可以了：
创建初始目录：gradle cDirs (注：这是缩写方式，与gradle createDirs完全相同)
编译： gradle compileScala
生成jar包： gradle jar
生成带启动脚本的可运行包： gradle installDist
Gradle创建项目目录结构
Gradle 打包 Groovy 脚本成 jar与上传到maven repository
Gradle 构建
应用常见问题解决指南
Gradle - 简单测试驱动Web程序
Gradle - 使用介绍
Gradle 的详细介绍：Gradle 的下载地址：
本文永久更新链接地址：
相关资讯 & & &
& (06月12日)
& (01月20日)
& (06月28日)
& (02月22日)
& (12/14/:43)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款
tiandee 发表于 不错的Scala学习笔记--正则表达式基础知识、如何在scala内使用-流了个火
时间： 10:24:45
正则表达式语法：/zh-cn/library/ae5bf541(VS.80).aspx基础知识：正则表达式30分钟入门教程http://www.jb51.net/tools/zhengze.html 版本：v2.33 () 作者：deerchao 转载请注明来源使用格式: 见java API /javase/7/docs/api/java : java.util.regex.Patternscala : scala.util.matchingscala里使用正则表达式可以通过向Regex构造器传递字符串构造新的正则表达式。val Decimal = new Regex("(-)?(\d+)(\.\d*)?")注意：每个反斜杠都出现两次，因为Java和Scala里单个反斜杠是字符串文本的转义符。Scala的原始字符串提供了另一种方案：将原始字符串夹在三引号（"""）之间。这样原始字符串的所有字符与输入完全一致val Decimal = new Regex("""(-)?(d+)(.d*)?""")也可写为val Decimal = """(-)?(d+)(.d*)?""".r即在字符串后面添加.r即可获得正则表达式。用正则表达式查找:regex findFirstIn str:查找字符串str中正则表达式regex的首次出现，返回Option类型的结果regex findAllIn str:查找字符串str中正则表达式regex的所有出现，返回Option类型的结果regex findPrefixOf str:查找字符串str中开始位置正则表达式regex的出现，返回Option类型的结果
def main(args:Array[String]):Unit={
val Decimal = """(-)?(d+)(.d*)?""".r;val input : String = "My String is for -1.0 to 99 by 3";//查找出所有的数字println("==number==")for(s&- Decimal findAllIn input)
println(s);//查找第一个数字println("==first number==");println(Decimal findFirstIn input);println("查找开头为数字的字符串的首个数字");//若字符串以数字为开头则输出Some(num)，否则输出Noneprintln(Decimal findPrefixOf input)
}结果：==number==-1.0993==first number==Some(-1.0)查找开头为数字的字符串的首个数字None
热门公众号