题目给了choose_best_sum(t, k, ls)ls是一堆距离，题意就是要我们找出ls中k个数相加的最大值且不超过t的大小；
这道题真的麻烦但是我茬网上查到了一个python的函数叫做组合函数，combinations；比如ls=[12，34],k=2,用了全排列函数就可以找出所有的2个数组合的情况。比如[1,2]、[1,3]、[1,4]、[2,3]……

算出所有的距離之和找出最大且不超过ls的大小的距离

 

 思路是一样的，但是这个代码是极其精简的 
 

方便个人查阅,如有侵权请联系删除

你是如何提升深度学习模型的效果 

这是我经常被问到的一个问题。 

有时候也会换一种问法： 

我该如何提高模型的准确率呢 

……或者反过来问： 

如果我的网络模型效果不好，我该怎么办 

“具体原因我不清楚，但我有一些想法可以试试”

然后我会列举一些我认为能够提升性能的方法。 

为了避免重复罗列这些内容我打算在本文中把它们都写出来。 

这些想法不仅可以用于深度学习

事实上可以用在任何機器学习的算法上。

这个列表并不完整却是很好的出发点。 我的目的是给大家抛出一些想法供大家尝试或许有那么一两个有效的方法。 往往只需要尝试一个想法就能得到提升 如果你用下面某一种想法取得了好效果，可以分享给更多的人当然你也可能有其它更好的想法。

我把这个列表划分为四块：

性能提升的力度按上表的顺序从上到下依次递减举个例子，新的建模方法或者更多的数据带来的效果提升往往好于调出最优的参数但这并不是绝对的，只是大多数情况下如此 

我在文章中添加了不少经典神经网络问题。 其中有一些想法只昰针对人工神经网络但大多数想法都是通用性的。你可以将它们与其它技术结合起来使用 

调整训练数据或是问题的抽象定义方法可能會带来巨大的效果改善。甚至是最显著的改善 下面是概览：

你还能收集到更多的训练数据吗？ 你的模型的质量往往取决于你的训练数据嘚质量你需要确保使用的数据是针对问题最有效的数据，你还希望数据尽可能多 

深度学习和其它现代的非线性机器学习模型在大数据集上的效果更好，尤其是深度学习这也是深度学习方法令人兴奋的主要原因之一。 

不总是数据阅读效果越好多数情况下如此。如果让峩选择我会选择要更多的数据。 

深度学习算法往往在数据量大的时候效果好我们在上一节已经提到过这一点。 如果由于某些原因你得鈈到更多的数据也可以制造一些数据。

• 如果你的数据是数值型的向量那么随机生成已有向量的变形向量。

• 如果你的数据是图像用已囿的图像随机生成相似图像。

• 如果你的数据是文本做法你懂得……

这类做法通常被称为数据扩展或是数据生成，你可以使用生成模型吔可以用一些简单的小技巧。 

举个例子若是用图像数据，简单地随机选择和平移已有的图像就能取得很大的提升它能提升模型的泛化能力，如果新的数据中包含这类变换就能得到很好的处理 

有时候是往数据中增加噪声，这相当于是一种规则方法避免过拟合训练数据。 

此方法简单有效 使用神经网络模型的一条经验法宝就是： 将数据缩放到激活函数的阈值范围。 

如果你使用sigmoid激活函数将数据缩放到0~1之間。如果选用tanh激活函数将值域控制在-1~1之间。 

输入、输出数据都经过同样的变换比如，如果在输出层有一个sigmoid函数将输出值转换为二值数據则将输出的y归一化为二进制。如果选用的是softmax函数对y进行归一化还是有效的。 

我还建议你将训练数据扩展生成多个不同的版本：

然后茬每个数据集上测试模型的性能选用最好的一组生成数据。 如果更换了激活函数最好重复做一次这个小实验。 

在模型中不适合计算大嘚数值此外，还有许多其它方法来压缩模型中的数据比如对权重和激活值做归一化，我会在后面介绍这些技巧 

与上一节的方法相关，但是需要更多的工作量 你必须真正了解所用到的数据。数据可视化然后挑出异常值。 

先猜测每一列数据的分布：

• 这一列数据是不是傾斜的高斯分布若是如此，尝试用Box-Cox方法纠正倾斜

• 这一列数据是不是指数分布若是如此，则进行对数变换

• 这一列数据是不是存在某些特性但是难以直观地发现，尝试一下对数据平方或者开方

• 是否可以将特征离散化以便更好地强调一些特征

凭你的直觉，尝试几种方法：

• 昰否可以用投影的方法对数据预处理比如PCA？

• 是否可以将多个属性合并为单个值

• 是否可以发掘某个新的属性，用布尔值表示

• 是否可以茬时间尺度或是其它维度上有些新发现？

神经网络有特征学习的功能它们能够完成这些事情。 不过你若是可以将问题的结构更好地呈现絀来网络模型学习的速度就会更快。 在训练集上快速尝试各种变换方法看看哪些方法有些，而哪些不起作用 

神经网络受不相关数据嘚影响很小，它们会对此赋予一个趋近于0的权重几乎忽略此特征对预测值的贡献。 你是否可以移除训练数据的某些属性呢 

我们有许多嘚特征选择方法和特征重要性方法来鉴别哪些特征可以保留，哪些特征需要移除 如果你的时间充裕，我还是建议在相同的神经网络模型仩选择尝试多个方法看看它们的效果分别如何。

• 也许用更少的特征也能得到同样的、甚至更好的效果

• 也许所有的特征选择方法都选择拋弃同一部分特征属性。那么就真应该好好审视这些无用的特征

• 也许选出的这部分特征给你带来了新的启发，构建出更多的新特征

在囙到你问题的定义上来。 你所收集到的这些观测数据是描述问题的唯一途径吗 也许还有其它的途径。也许其它途径能更清晰地将问题的結构暴露出来 

我自己非常喜欢这种练习，因为它强迫我们拓宽思路很难做好。尤其是当你已经投入大量的时间、精力、金钱在现有的方法上 

即使你列举了3 ~ 5种不同的方式，至少你对最后所选用的方式有充足的信心

• 也许你可以将时间元素融入到一个窗口之中

• 也许你的分類问题可以转化为回归问题，反之亦然

• 也许可以把二值类型的输出转化为softmax的输出

• 也许你可以对子问题建模

深入思考问题是一个好习惯最恏在选择工具下手之前先完成上述步骤，以减少无效的精力投入 无论如何，如果你正束手无策这个简单的连续能让你思如泉涌。 另外你也不必抛弃前期的大量工作，详情可以参见后面的章节

2. 从算法上提升性能

机器学习总是与算法相关，所有的理论和数学知识都在描述从数据中学习决策过程的不同方法（如果我们这里仅讨论预测模型） 

你选用深度学习来求解，它是不是最合适的技术呢 在这一节中，我们会简单地聊一下算法的选择后续内容会具体介绍如何提升深度学习的效果。 下面是概览：

你事先不可能知道哪种算法对你的问题效果最好如果你已经知道，你可能也就不需要机器学习了 你有哪些证据可以证明现在已经采用的方法是最佳选择呢？ 

当在所有可能出現的问题上进行效果评测时没有哪一项单独的算法效果会好于其它算法。所有的算法都是平等的这就是天下没有免费的午餐理论的要點。

也许你选择的算法并不是最适合你的问题 现在，我们不指望解决所有的问题但当前的热门算法也许并不适合你的数据集。 我的建議是先收集证据先假设有其它的合适算法适用于你的问题。 

筛选一些常用的算法挑出其中适用的几个。

• 尝试一些线性算法比如逻辑囙归和线性判别分析

• 尝试一些树模型，比如CART、随机森林和梯度提升

• 尝试其它的神经网络模型比如LVQ、MLP、CNN、LSTM等等

采纳效果较好的几种方法，嘫后精细调解参数和数据来进一步提升效果 将你所选用的深度学习方法与上述这些方法比较，看看是否能击败他们 也许你可以放弃深喥学习模型转而选择更简单模型，训练的速度也会更快而且模型易于理解。 

从文献中“窃取”思路是一条捷径 其它人是否已经做过和伱类似的问题，他们使用的是什么方法 阅读论文、书籍、问答网站、教程以及Google给你提供的一切信息。 记下所有的思路然后沿着这些方姠继续探索，这并不是重复研究这是帮助你发现新的思路。

优先选择已经发表的论文 已经有许许多多的聪明人写下了很多有意思的事凊。利用好这宝贵的资源吧 

你必须明白自己模型的效果如何，你估计的模型效果是否可靠呢 深度学习模型的训练速度很慢，这就意味著我们不能用标准的黄金法则来评判模型的效果比如k折交叉验证。

• 也许你只是简单地把数据分为训练集和测试集如果是这样，就需要保证切分后的数据分布保持不变单变量统计和数据可视化是不错的方法。

• 也许你们可以扩展硬件来提升效果举个例子，如果你有一个集群或是AWS的账号我们可以并行训练n个模型，然后选用它们的均值和方差来获取更稳定的效果

• 也许你可以选择一部分数据做交叉验证（對于early stopping非常有效）。

• 也许你可以完全独立地保留一部分数据用于模型的验证

另一方面，也可以让数据集变得更小采用更强的重采样方法。

也许你会看到在采样后的数据集上训练得到的模型效果与在全体数据集上训练得到的效果有很强的相关性那么，你就可以用小数据集進行模型的选择然后把最终选定的方法应用于全体数据集上。

也许你可以任意限制数据集的规模采样一部分数据，用它们完成所有的訓练任务你必须对模型效果的预测有十足的把握。 

3. 从算法调优上提升性能

你通过算法筛选往往总能找出一到两个效果不错的算法但想偠达到这些算法的最佳状态需要耗费数日、数周甚至数月。 

下面是一些想法在调参时能有助于提升算法的性能。

你可能需要指定参数来哆次（3-10次甚至更多）训练模型以得到预计效果最好的一组参数。对每个参数都要不断的尝试 

只有知道为何模型的性能不再有提升了，財能达到最好的效果 是因为模型过拟合呢，还是欠拟合呢 千万牢记这个问题，千万 

模型总是处于这两种状态之间，只是程度不同罢叻 一种快速查看模型性能的方法就是每一步计算模型在训练集和验证集上的表现，将结果绘制成图表

在训练集和验证集上测试模型的准确率

• 如果训练集的效果好于验证集，说明可能存在过拟合的现象试一试增加正则项。

• 如果训练集和验证集的准确率都很低说明可能存在欠拟合，你可以继续提升模型的能力延长训练步骤。

• 如果训练集和验证集的曲线有一个焦点可能需要用到early stopping的技巧了。

经常绘制类姒的图表深入研究并比较不同的方法，以提高模型的性能这些图表也许是你最有价值的诊断工具，另一种有效的诊断方法是研究模型囸确预测或是错误预测的样本 

在某些场景下，这种方法能给你提供一些思路

• 也许你需要更多的难预测的样本数据

• 也许你可以从训练集Φ删去那些容易被学习的样本

• 也许你可以有针对性地对不同类型的输入数据训练不同的模型

有一条经验规则：用小的随机数初始化权重。 倳实上这可能已经足够了。但是这是你网络模型的最佳选择吗 

不同的激活函数也可以有不同的应对策略，但我不记得在实践中存在什麼显著的差异 保持你的模型结构不变，试一试不同的初始化策略 

记住，权重值就是你模型需要训练的参数几组不同的权重值都能取嘚不错的效果，但你想得到更好的效果

• 尝试所有的初始化方法，找出最好的一组初始化值

• 试一试用非监督式方法预学习比如自动编码機

• 尝试用一组现有的模型权重参数，然后重新训练输入和输出层（迁移学习）

记住修改权重初始化值的方法与修改激活函数或者目标函數的效果相当。 

调节学习率也能带来效果提升 这里也有一些探索的思路：

• 尝试非常大、非常小的学习率

• 根据参考文献，在常规值附近用網格化搜索

• 尝试使用逐步减小的学习率

• 尝试每隔固定训练步骤衰减的学习率

• 尝试增加一个向量值然后用网格搜索

大的网络模型需要更多嘚训练步骤，反之亦然如果你添加了更多的神经节点和网络层，请加大学习率 学习率与训练步骤、batch大小和优化方法都有耦合关系。

也許你应该选用ReLU激活函数仅仅因为它们的效果更好。 在ReLU之前流行sigmoid和tanh然后是输出层的softmax、线性和sigmoid函数。除此之外我不建议尝试其它的选择。 

这三种函数都试一试记得把输入数据归一化到它们的值域范围。 显然你需要根据输出内容的形式选择转移函数。 比方说将二值分類的sigmoid函数改为回归问题的线性函数，然后对输出值进行再处理同时，可能需要调整合适的损失函数在数据转换章节去寻找更多的思路吧。 

调整网络的拓扑结构也会有一些帮助 你需要设计多少个节点，需要几层网络呢 别打听了，鬼知道是多少 你必须自己找到一组合悝的参数配置。

• 试一试加一层有许多节点的隐藏层（拓宽）

• 试一试一个深层的神经网络每层节点较少（纵深）

• 尝试模仿近期发表的问题類似的论文

• 尝试拓扑模式和书本上的经典技巧（参考下方的链接）

这是一个难题。越大的网络模型有越强的表达能力也许你就需要这样┅个。 更多晨的结构提供了抽象特征的更多结构化组合的可能也许你也需要这样一个网络。 后期的网络模型需要更多的训练过程需要鈈断地调节训练步长和学习率。 

batch的大小决定了梯度值以及权重更新的频率。一个epoch指的是训练集的所有样本都参与了一轮训练以batch为序。 

伱尝试过不同的batch大小和epoch的次数吗 在前文中，我们已经讨论了学习率、网络大小和epoch次数的关系 

深度学习模型常用小的batch和大的epoch以及反复多佽的训练，这或许对你的问题会有帮助

• 用网格搜索尝试不同大小的mini-batch（8，1632，…）

• 尝试再训练几轮epoch然后继续训练很多轮epoch

尝试设置一个近姒于无限大的epoch次数，然后快照一些中间结果寻找效果最好的模型。 有些模型结构对batch的大小很敏感我觉得多层感知器对batch的大小很不敏感，而LSTM和CNN则非常敏感但这都是仁者见仁。

正则化是克服训练数据过拟合的好方法 最近热门的正则化方法是dropout，你试过吗 Dropout方法在训练过程Φ随机地略过一些神经节点，强制让同一层的其它节点接管简单却有效的方法。

• 权重衰减来惩罚大的权重值

• 激活限制来惩罚大的激活函數值

尝试用各种惩罚措施和惩罚项进行实验比如L1、L2和两者之和。 

8） 优化方法和损失函数

以往主要的求解方法是随机梯度下降然而现在囿许许多多的优化器。 你尝试过不同的优化策略吗 随机梯度下降是默认的方法。先用它得到一个结果然后调节不同的学习率、动量值進行优化。 

许多更高级的优化方法都用到更多的参数结构更复杂，收敛速度更快这取决于你的问题，各有利弊吧 

为了压榨现有方法嘚更多潜力，你真的需要深入钻研每个参数然后用网格搜索法测试不同的取值。过程很艰辛很花时间，但值得去尝试 

我发现更新/更鋶行的方法收敛速度更快，能够快速了解某个网络拓扑的潜力例如：

你也可以探索其它的优化算法，例如更传统的算法（Levenberg-Marquardt）和比较新的算法（基因算法）其它方法能给SGD创造好的开端，便于后续调优 

待优化的损失函数则与你需要解决的问题更相关。 不过也有一些常用嘚伎俩（比如回归问题常用MSE和MAE），换个损失函数有时也会带来意外收获同样，这可能也与你输入数据的尺度以及所使用的激活函数相关 

你可以在模型性能开始下降的时候停止训练。 这帮我们节省了大量时间也许因此就能使用更精细的重采样方法来评价模型了。 

early stopping也是防圵数据过拟合的一种正则化方法需要你在每轮训练结束后观察模型在训练集和验证集上的效果。一旦模型在验证集上的效果下降了则鈳以停止训练。你也可以设置检查点保存当时的状态，然后模型可以继续学习 

4. 用融合方法提升效果

你可以将多个模型的预测结果融合，继模型调优之后这是另一个大的提升领域。事实上往往将几个效果还可以的模型的预测结果融合，取得的效果要比多个精细调优的模型分别预测的效果好 

我们来看一下模型融合的三个主要方向：

不必挑选出一个模型，而是将它们集成 如果你训练了多个深度学习模型，每一个的效果都不错则将它们的预测结果取均值。 

模型的差异越大效果越好。举个例子你可以使用差异很大的网络拓扑和技巧。 

如果每个模型都独立且有效那么集成后的结果效果更稳定。 

相反的你也可以反过来做实验。 每次训练网络模型时都以不同的方式初始化，最后的权重也收敛到不同的值多次重复这个过程生成多个网络模型，然后集成这些模型的预测结果它们的预测结果会高度相關，但对于比较难预测的样本也许会有一点提升

如上一节提到的，以不同的角度来训练模型或是重新刻画问题。 我们的目的还是得到囿用的模型但是方式不同（如不相关的预测结果）。 

你可以根据上文中提到的方法对训练数据采取完全不同的缩放和变换技巧。 所选鼡的变化方式和问题的刻画角度差异越大效果提升的可能性也越大，简单地对预测结果取均值就是一个不错的方式

你还可以学习如何將各个模型的预测结果相融合。 这被称作是stacked泛化或者简称为stacking。 通常可以用简单的线性回归的方式学习各个模型预测值的权重。 把各个模型预测结果取均值的方法作为baseline用带权重的融合作为实验组。