您正在使用IE低版浏览器，为了您的雷锋网账号安全和更好的产品体验，强烈建议使用更快更安全的浏览器
发私信给天诺
导语：Reza Zadeh是斯坦福大学工程计算和数学研究所顾问教授，他主要专注于机器学习理论和应用，分布式计算。如果你对人工智能感兴趣，那他讲述的机器学习进化史你一定要看。
同步到新浪微博
当月热门文章
为了您的账户安全，请
您的邮箱还未验证,完成可获20积分哟！
您的账号已经绑定，现在您可以以方便用邮箱登录深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。
第四篇，谈谈我对逻辑回归和softmax回归的一点理解。网络上对逻辑回归和softmax回归论述也很多，包括各种不同语言的代码，都可以下载到。
1. &逻辑回归源于线性回归模型。
& & &线性回归问题的自变量是连续变量，而逻辑回归问题的自变量一般是取值为离散的名义变量，例如，男，女。逻辑回归是对因变量和自变量之前发生关系的概率解释。例如，某种疾病的发生与抽烟的关系，这种关系可以解释为抽烟会导致这种疾病发生的概率值。当逻辑回归用于分类的时候，分类器的阈值点就是0.5。
2. 优化算法
& & 回归问题是统计学里面最基础的问题。在统计学里面，一般采用最大似然和最小二乘法直接导出解析解。具体可以参考任何一般统计学的教材。其解析解里面有一个矩阵的逆。求逆和伪逆运算有一些快速算法可以利用。所以对于数据量小的回归问题，直接用解析解就可以快速的得到模型的参数。而对于数据挖掘，海量数据导致内存的开销巨大，这时候直接求解析解是不现实的。于是，在机器学习相关的教程里面，对于回归问题，描述的都是迭代算法。基于随机梯度下降的迭代算法的好处是，内存开销小。
3. 对开源softmax回归的一点解释
& &对深度学习的开源代码中有一段softmax的代码，下载链接如下：
& &这个开源的代码是实现了深度网络的常见算法，包括c，c++，java，python等不同语言的版本。
& softmax回归中有这样一段代码：
void LogisticRegression_softmax(LogisticRegression *this, double *x) {
double max = 0.0;
double sum = 0.0;
for(i=0; i&this-&n_ i++) if(max & x[i]) max = x[i];
for(i=0; i&this-&n_ i++) {
x[i] = exp(x[i] - max);
sum += x[i];
for(i=0; i&this-&n_ i++) x[i] /=
乍一看这段代码，发现它和文献中对softmax模型中参数优化的迭代公式中是不一样！其实，如果没有那个求最大值的过程，直接取指数运算就一样的。而加一个求最大值的好处在于避免数据的绝对值过小，数据绝对值太小可能会导致计算一直停留在零而无法进行。就像对数似然函数，似然函数取对数防止概率过小一样。
阅读(...) 评论()机器学习算法汇总：人工神经网络、深度学习及其它
发表于 14:59|
来源IT经理网|
摘要：机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里我们将为您总结一下常见的机器学习算法，以供您在工作和学习中参考。
【编者按】机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。本文来自IT经理网。
免费订阅“CSDN云计算”微信公众号，实时掌握第一手云中消息！
CSDN作为国内最专业的云计算服务平台，提供云计算、大数据、虚拟化、数据中心、OpenStack、CloudStack、Hadoop、Spark、机器学习、智能算法等相关云计算观点，云计算技术，云计算平台，云计算实践，云计算产业资讯等服务。
以下为原文：
根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。
监督式学习：
在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归（Logistic
Regression）和反向传递神经网络（Back Propagation Neural Network）
非监督式学习：
在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。
半监督式学习：
在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法（Graph
Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。
强化学习：
在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等。常见算法包括Q-Learning以及时间差学习（Temporal
difference learning）
在企业数据应用的场景下， 人们最常用的可能就是监督式学习和非监督式学习的模型。 在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据，
目前半监督式学习是一个很热的话题。 而强化学习更多的应用在机器人控制及其他需要进行系统控制的领域。
算法类似性
根据算法的功能和形式的类似性，我们可以把算法分类，比如说基于树的算法，基于神经网络的算法等等。当然，机器学习的范围非常庞大，有些算法很难明确归类到某一类。而对于有些分类来说，同一分类的算法可以针对不同类型的问题。这里，我们尽量把常用的算法按照最容易理解的方式进行分类。
回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。回归算法是统计机器学习的利器。在机器学习领域，人们说起回归，有时候是指一类问题，有时候是指一类算法，这一点常常会使初学者有所困惑。常见的回归算法包括：最小二乘法（Ordinary
Least Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（Multivariate
Adaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）
基于实例的算法
基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较。通过这种方式来寻找最佳的匹配。因此，基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括
k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization， LVQ），以及自组织映射算法（Self-Organizing
Map ， SOM）
正则化方法
正则化方法是其他算法（通常是回归算法）的延伸，根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚。常见的算法包括：Ridge
Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic
决策树学习
决策树算法根据数据的属性采用树状结构建立决策模型， 决策树模型常常用来解决分类和回归问题。常见的算法包括：分类及回归树（Classification
And Regression Tree， CART）， ID3&(Iterative Dichotomiser 3)， C4.5，
Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 随机森林（Random
Forest）， 多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine， GBM）
贝叶斯方法
贝叶斯方法算法是基于贝叶斯定理的一类算法，主要用来解决分类和回归问题。常见算法包括：朴素贝叶斯算法，平均单依赖估计（Averaged One-Dependence
Estimators， AODE），以及Bayesian Belief Network（BBN）。
基于核的算法
基于核的算法中最著名的莫过于支持向量机（SVM）了。 基于核的算法把输入数据映射到一个高阶的向量空间， 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决。
常见的基于核的算法包括：支持向量机（Support Vector Machine， SVM）， 径向基函数（Radial Basis Function
，RBF)， 以及线性判别分析（Linear Discriminate Analysis ，LDA)等。
聚类，就像回归一样，有时候人们描述的是一类问题，有时候描述的是一类算法。聚类算法通常按照中心点或者分层的方式对输入数据进行归并。所以的聚类算法都试图找到数据的内在结构，以便按照最大的共同点将数据进行归类。常见的聚类算法包括
k-Means算法以及期望最大化算法（Expectation Maximization， EM）。
关联规则学习
关联规则学习通过寻找最能够解释数据变量之间关系的规则，来找出大量多元数据集中有用的关联规则。常见算法包括 Apriori算法和Eclat算法等。
人工神经网络
人工神经网络算法模拟生物神经网络，是一类模式匹配算法。通常用于解决分类和回归问题。人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法。（其中深度学习就是其中的一类算法，我们会单独讨论），重要的人工神经网络算法包括：感知器神经网络（Perceptron
Neural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-Organizing
Map, SOM）。学习矢量量化（Learning Vector Quantization， LVQ）
深度学习算法是对人工神经网络的发展。 在近期赢得了很多关注， 特别是
， 更是在国内引起了很多关注。& 在计算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神经网络。很多深度学习的算法是半监督式学习算法，用来处理存在少量未标识数据的大数据集。常见的深度学习算法包括：受限波尔兹曼机（Restricted
Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷积网络（Convolutional Network）,
堆栈式自动编码器（Stacked Auto-encoders）。
降低维度算法
像聚类算法一样，降低维度算法试图分析数据的内在结构，不过降低维度算法是以非监督学习的方式试图利用较少的信息来归纳或者解释数据。这类算法可以用于高维数据的可视化或者用来简化数据以便监督式学习使用。常见的算法包括：主成份分析（Principle
Component Analysis， PCA），偏最小二乘回归（Partial Least Square Regression，PLS），
Sammon映射，多维尺度（Multi-Dimensional Scaling, MDS）, &投影追踪（Projection Pursuit）等。
集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测。集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来。这是一类非常强大的算法，同时也非常流行。常见的算法包括：Boosting，
Bootstrapped Aggregation（Bagging）， AdaBoost，堆叠泛化（Stacked Generalization，
Blending），梯度推进机（Gradient Boosting Machine, GBM），随机森林（Random Forest）。
原文链接：
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章从回归到神经网络；人类对于事物的认识过程大致是先通过听、闻或者感知；我们通过颜色，大小，外形等特征很快就能分别出“它；力；回归分析；我女朋友是教小学数学，一次我看见她们班试卷上有这；给出一列数字0，2，4，6，8，？；当然你一眼就看出来其中的规律，都是偶数，并且递增；这就不那么容易看出来了吧；沿着曲线的走势能够推算出2015年值约为7亿；首先我们引入简单一元
从回归到神经网络
人类对于事物的认识过程大致是先通过听、闻或者感知在大脑储存相关描述信息，描述信息包含对事物形态如尺寸，颜色等。以后当我们再次看见同样东西时候一下子能根据之前大脑所记忆关于它的特征来识别它是什么，例如当看见如下事物：
我们通过颜色，大小，外形等特征很快就能分别出“它”是什么。这些信息通过视觉转化（由光信信转化为生物电信息）交由大脑分析比对。然而，对于机器而言上面的事物是一堆数据。
力。在机器学习领域，从大量数据中探知知识的过程称为数据挖掘。数据挖掘可以看成是信息技术自然进化的结果，在该进化过程中近年出现的一种数据存储结构叫数据仓库，数据仓库是一种多个异构数据源在单一站点以统一的模式组织，并且支持管理决策功能的存储模式。 ●
我女朋友是教小学数学，一次我看见她们班试卷上有这么一个题：
给出一列数字0，2，4，6，8，？。请问？代表数值几？
当然你一眼就看出来其中的规律，都是偶数，并且递增，答案是10。那么再来看一个实际中的问题： 下图是某地的2009年到2014年的财政收入表，预测2015年财政收入值。单位（亿）
这就不那么容易看出来了吧。把这些点对应映射到坐标轴上如下图：
沿着曲线的走势能够推算出2015年值约为7亿。这便是一个简单回归问题。我们做了一条曲线，并且让曲线平滑按照走势延伸。当然如果该地区发展是平稳的，那么曲线会一直平滑下去。应当指出的是，所推算出的7亿是可能存在一定误差的，而且随着推算时间的延长如要基于以上数据预测2020年收入， 2020预测值误差势必大于2015年预测的误差。实际上，回归问题可以定位为一个曲线拟合问题，即让一条平滑曲线能够穿过尽量多的数据点。也就是能够找出一个可接受误差范围内的方程式能够让我提供输入数据后计算出可信赖的结果。 可是，对于机器而言要能建立这么一个方程式，它需要通过一些算法。
首先我们引入简单一元线性回归，其表达式 y = kx +b。k，b是参数，x代表了变量因子，y则是输出结果。如果对于任意的（x，y）满足y = kx +b这便是严格的线性关系。然而生活中更多的我们会遇到如下的情况：
对于该图，我们可以建立一个简单的线性方程
y = kx +b 。可以看见图中并不是所有点集中在一条直线上，因此建立出来的线性方程必然存在一定误，目标是让所有点尽量均匀分布在直线附近，从而减小与真实值得误差。换句话说，如果我们能建立一种误差体系，使误差控制在一个极低可接受的范围，那么我们就拟合了一条曲线，它能够表达x与y的关系。假定对于某一个点（Xn，
Yn）。其误差为
又被叫做n的残差。依据最小二乘法原理对于总体误差即：
该问题就变成了总体误差最小既 ? 最小的问题了，
yi和xi由历史数据可以得到。
?是一个二元二次函数，其三维曲面图如下：
如何求解?是一个纯数学问题，为此我将说明最小二乘法的原理。从整体上考
(x,y)r?p(xi)?yi(i=0,1,?,m)
虑近似函数p(x)同所给数据点ii(i=0,1,?,m)误差i
的大小，常用的方法有以下三种：一是误差
ri?p(xi)?yi(i=0,1,?,m)绝对值的最大
T?r?(r,r,?r)01m，即误差 向量的∞―范数；二是误差绝对值的和i?0
误差向量r的1―范数；三是误差平方和i?0的算术平方根，即误差向量r的2―范数；
前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2―范数的平方，
因此在曲线拟合中常采用误差平方和i?0这便是在使用平方值得原因。
来 度量误差i(i=0，1，?，m)的整体大小。
(x,y)数据拟合的具体作法是：对给定数据 ii (i=0,1,?，m)，在取定的
函数类?中,求p(x)??,使误差ri?p(xi)?yi(i=0,1,?,m)的平方和最小，即
(x,y)从几何意义上讲，就是寻求与给定点ii(i=0,1,?,m)的距离平方和为最
小的曲线y?p(x)
（下图示）。函数p(x)
称为拟合函数或最小二乘解，求拟合函数p(x)的方法称为曲线拟合的最小二乘法。 例子：某次实验得到了四个数据点
我们希望找出一条和这四个点最匹配的直线 佳情况”下能够大致符合如下超定线性方程组的
，即找出在某种“最
最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函
数的最小值：
最小值可以通过对
于零得到。
的偏导数，
然后使它们等
如此就得到了一个只有两个未知数的方程组，很容易就可以解出：
也就是说直线
是最佳的。
知道了最小二乘法原理，算出拟合曲线方程只是一个计算过程而已。上面的例子可以推广到多元线性回归，在此将不再阐述。
一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较
大。如果非要应用进入，可以使用logistic回归。logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。函数g(z)表达如下：
在复杂的问题中往往会出现一个问题“过度拟合”，我们的拟合曲线是依据求解方
程式时用到历史数据（也叫做训练数据）。过度拟合，言下之意是“你这曲线函数太过完美了，反而不真实了”。下图中分别采用多项式拟合来说明各种拟合的情况：
包含各类专业文献、外语学习资料、文学作品欣赏、各类资格考试、高等教育、中学教育、生活休闲娱乐、38从逻辑回归到神经网络等内容。　
　3.从逻辑回归到神经网络神经网络主要应用场景之一是分类, 我们之前博文中提到的逻辑回归也是解决 分类问题的一类机器学习算法,有趣的是,实际上两者有着很紧密的... 　浅谈神经网络_信息与通信_工程科技_专业资料。神经网络浅谈神经网络先从回归(Regression...最常见的激活函数是 Sigmoid(S 形曲线),Sigmoid 有时也 称为逻辑回归(Logi... 　常见算法有逻辑回归(Logistic Regression)和 反向传递神经网络(Back Propagation ...当然,机器学习的范围非常庞大,有些算法很难明确归类到某一类。而对于 有些分类... 　作业三题目解析:本作业主要有两个知识点:使用逻辑回归来实现多分类问题 (one-vs-all)以及神经网络应用, 应用场景是机器学习辨认手写数字 0 到 9。 多分类逻辑... 　目前,CA 主要 通过多准则判断、主成份分析、逻辑回归、神经网络及决策树等方法...虽然从图上我们能够感受到城市扩展的情况,但在进行城市发 展规划时, 除了城市... 　很多时候困惑人们都是,很多算法是一类算法,而有些算法又是从其 他算法中延伸...常见算法有逻辑回归(Logistic Regression)和 反向传递神经网络(Back Propagation ... 　40、对于一下逻辑回归、决策树、神经网络。在过去 15 年中这些技术做了哪些大...及 IT 项目的生命周期,从收入需求到项目维护? 55、什么是 cron 任务? 56、... 　(S 形曲线 ) , Sigmoid 有时也称为逻辑回归 (Logistic Regression),简称 ...从这个角 度讲,实用性 & 生理相似性。 - BP 神经网络中的某些算法,例如如何... 　逻辑回归及其在数据挖掘... 37页 1下载券喜欢...从回归分析到数据挖掘 关键词:回归分析 数据挖据 ...神经网络,以及其衍生工具(如随机森林 Bootstrap ...