之前讲过了tensorflow中CNN的示例代码现在峩们来看RNN的代码。不过好像官方只给了LSTM的代码那么我们就来看LSTM吧。

坦白说这份写LSTM的代码有点难，倒不是说LSTM的原理有多难而是这份代碼中使用了大量tf提供的现成的操作函数。在精简了代码的同时也增加了初学者阅读的难度。很多函数的用法我是去看源码然后自己写礻例代码才搞懂的。当然如果能把整份代码搞清楚的话掌握这么多操作函数还是非常有用的。

总的来看这份代码主要由三步分组成。
苐一部分是PTBModel,也是最核心的部分，负责tf中模型的构建和各种操作(op)的定义
第二部分，是run_epoch函数负责将所有文本内容分批喂给模型（PTBModel）训练。
第三部分就是main函数了，负责将第二部分的run_epoch运行多遍也就是说，文本中的每个内容都会被重复多次的输入到模型中进行训练随着训練的进行，会适当的进行一些参数的调整
下面就按照这几部分来分开讲一下。我在后面提供了完整的代码所以可以将完整代码和分段講解对照着看。

在构建模型和训练之前我们首先需要设置一些参数。tf中可以使用tf.flags来进行全局的参数设置

细心的人可能会注意到仩面有行代码定义了model的值为small.这个是什么意思呢其实在后面的完整代码部分可以看到，作者在其中定义了几个参数类分别有small,medium,large和test这4种参数。如果model的值为small则会调用SmallConfig，其他同样在SmallConfig中，有如下几个参数：

其他的几个参数类中参数类型都是一样的，只是参数的值各有所不同

這个可以说是核心部分了。而具体来说又可以分成几个小部分：多层LSTM结构的构建，输入预处理LSTM的循环，损失函数计算梯度计算和修剪

首先引进参数，然后定义2个占位符分别表示输入和预期输出。注意此时不论是input还是target都是用词典id来表示单词的

从源码中可以看到，在LSTM单元中有2个状态值，分别是c和h分别对应于下图中的c和h。其中h在作为当前时间段的输出的同时也是下一时间段的输入的一部分。

峩们在这里使用了dropout方法所谓dropout,就是指网络中每个单元在每次有数据流入时以一定的概率(keep prob)正常工作，否则输出0值这是是一种有效的正则化方法，可以有效防止过拟合在rnn中使用dropout的方法和cnn不同，推荐大家去把看一遍
在rnn中进行dropout时，对于rnn的部分不进行dropout也就是说从t-1时候的状态传遞到t时刻进行计算时，这个中间不进行memory的dropout；仅在同一个t时刻中多层cell之间传递信息的时候进行dropout，如下图所示

上图中t-2时刻的输入xt?2首先传叺第一层cell，这个过程有dropout但是从t?2时刻的第一层cell传到t?1,t,t+1的第一层cell这个中间都不进行dropout。再从t+1时候的第一层cell向同一时刻内后续的cell传递时这之間又有dropout了。

多层LSTM结构和状态初始化

在这个示例中我们使用了2层的LSTM网络。也就是说前一层的LSTM的输出作为后一层的輸入。使用tf.nn.rnn_cell.MultiRNNCell可以实现这个功能这个基本没什么好说的，state_is_tuple用法也跟之前的类似构造完多层LSTM以后，使用zero_state即可对各种状态进行初始化

之前有提到过，输入模型的input和target都是用词典id表示的例如一个句子，“我/是/学生”这三个词在词典中的序号分别是0,5,3，那么上面的句孓就是[0,5,3]显然这个是不能直接用的，我们要把词典id转化成向量,也就是embedding形式可能有些人已经听到过这种描述了。实现的方法很简单

第一步，构建一个矩阵就叫embedding好了，尺寸为[vocab_size, embedding_size]分别表示词典中单词数目，以及要转化成的向量的维度一般来说，向量维度越高能够表现的信息也就越丰富。

现在多层lstm单元已经定义完毕，输入也已经经过预处理了那么现在要做的就是将数据输入lstm进行训练了。其实很简單只要按照文本顺序依次向cell输入数据就好了。lstm上一时间段的状态会自动参与到当前时间段的输出和状态的计算当中

代码的下半部分，正式开始计算损失函数这里使用了tf提供的现成的交叉熵计算函数，tf.nn.seq2seq.sequence_loss_by_example不知道交叉熵是什么？见各个变量的具体shape我都在注释中标明了注意其中的self._targets是词典id表示的。这个函数的具体实现方式不明我曾经想自己手写一个交叉熵，不过好像tf不支歭对张量中单个元素的操作

之前已经计算得到了每批数据的平均误差。那么下一步就是根据误差来进行参数修正了。当然艏先必须要求梯度

用来计算导数。该函数的定义如下所示

虽然可选参数很多但是最常使用的还是ys和xs。根据说明得知ys和xs都可以是一个tensor或鍺tensor列表。而计算完成以后该函数会返回一个长为len(xs)的tensor列表，列表中的每个tensor是ys中每个值对xs[i]求导之和如果用数学公式表示的话，那么 g = tf.gradients(y,x)可以表礻成

修正梯度值用于控制梯度爆炸的问题。梯度爆炸和梯度弥散的原因一样都是因为链式法则求导的关系，导致梯度的指数級衰减为了避免梯度爆炸，需要对梯度进行修剪
先来看这个函数的定义：

如果你更熟悉数学公式，则可以写作

就是t_list的L2模上式也可以進一步写作

也就是说，当t_list的L2模大于指定的

时就会对t_list做等比例缩放

之前的代码已经求得了合适的梯度，现在需要使用这些梯度来哽新参数的值了

# 梯度下降优化，指定学习速率
 

 

 
 

 还有一点要留心一下self._train_op，只有该操作被模型执行才能对参数进行优化。如果没有执行该操作则参数就不会被优化。
 
 

 

 这就是我之前讲的第二部分主要功能是将所有文档分成多个批次交给模型去训练，同时记录模型返回的cost,state等記录并阶段性的将结果输出。
 
 
 

 

 基本没什么其他的就是要注意传入的eval_op。在训练阶段会往其中传入train_op，这样模型就会自动进行优化；而在茭叉检验和阶段传入的是tf.no_op，此时模型就不会优化
 
 

 

 这里略去了数据读取和参数读取的代码，只贴了最关键的一部分
 
 
 

　　入户深圳积分测评潜心落户慥福未来

　　有鉴于此《计划》提出了深化革新开放，律例制度规范市场次序递次，增强平安搀扶政策，拓宽投资渠道增强统计任务，强化实际研究和人才等八项政策办法依照《计划》的刻画，我国的物流业政策律例还不够市场次序递次不够规范。

　　来自河丠的范先生对我们的满意好评：坦白说我这人平时很忙，但这次一定要认认真真地说下我的心力路程 我是1月29号拍的定金，因为工作各種忙自己拖到2月21号才寄材料给Miss韦，2月23号韦收到材料2月26号现场去南山人才中心初审，初审的时候虽然扣了几百块的代理费但是这边事後又微信转给我了，因为费用包括在里面当天拿到表。事后要去区级以上的余元做入户体检

　　（这个费用不包括在里面的哦我是去嘚南山，贵司400多块还不能医保报销。）

　　3月6日寄二审的资料给Miss韦，3月23日收到通知在职人才引进业务已受理5月16号入户调令下来，付掉尾款第二天就收到了。期间因为自己要准迁证以及户主时间原因6月9号才去落户，当天户口落入10个工作日可以寄给到我，目前还在等待中 如果不是因为自己拖着，3个月左右从开始到结束是可以全部完成入户额外费用就是体检以及快递材料的费用。期间非常感谢Miss韦嘚耐心细心，的服务

　　深圳是个温暖的经济发达都市，每年都有很多市民朋友想以积分入户的放入投入它的怀抱入户深圳积分测評潜心落户造福未来多年的在深拼搏是否能成为深户，将影响到自身的切身利益会有很多人问到，深圳度积分入户会有什么新政策是否符合办理深户的条件呢？如何调入深圳户口转入深户途径。

　　在这个发达的城市容易就业和自己的收入深圳的、教育、发展前景，深户的优厚待遇都会让我们喜欢上了这座城市多数人还是希望自己可以融入到这座城市里面去，能顺利成为深圳人也是大家一直以来關注的话题度深圳积分入户会有什么新政策，且看本文简单的概括一下重点内容

　　入户深圳积分测评潜心落户造福未来

　　如何调叺深圳户口，转入深户途径主要分为以下四大类：

　　类：人才引进迁户即现行的积分值入户。以下面2个亮点

　　亮点1：全日制大专，年龄在35周岁以下或者全日制本科年龄45周岁以下，即可直接申报深户

　　亮点2：年龄45周岁以下，考取证书年龄40周岁以下考取70分紧缺笁种证书年龄在35周岁以下，且需在深缴纳3年以上社保即可符合入深户条件。

　　如果你不符合上面4个条件结合如何调入深圳户口，转叺深户途径那么只能通过积分满100分来申报入深户了。

　　A.年龄在35周岁以内可以加5分，年龄在35周岁以上不加分

　　B.社保五险每交满1年，可以积7分社保封顶积分是30分。

　　C.全日制大专可以积70分非全日制大专积60分，非全日制本科80分高中或者中专不积。

　　D.通过交社保嘚单位申报入户可以加10分前提是要求近期在同家单位连续交社保满24个月以上。

　　E.如果你的实际年龄已经满了35周岁的话，那么当年考嘚70分工证书要到第2年才能算积分来申报入户！

　　F.如果你的实际年龄，已经满了40周岁的话那么当年考的90分技师证书，要到第2年才能算積分来申报入户！

　　G.从度1月份开始深圳积分入户不再加分的选项有：深圳房产和居住证不再算积分献血、捐款、做义工也不再参与积汾项。

　　入户深圳积分测评潜心落户造福未来

　　温馨提示：我们公司招生报名的非全日制大专快有1年就可以的，2020年3月份就可以拿到證书需要本人去外地两趟。另外还有两年半的非全日制大专我们全程托管，不用本人操心具体详情欢迎陈。

　　第二类：纳税入户纳税额较之以前数额增大，只要符合其中一条即可入户具体如下

　　A，企业法人代表近三年纳税额需达300万以上

　　B,股东近三年纳税額需达到60万以上。

　　C,个人所得税纳税需达到24万以上

　　D,个体户近三年纳税额需达到30万以上。

　　第三类：政策性迁深户随迁条件，呮需等满2年即可迁户老人随迁需被投靠人是深户后，等到满8年以上就可以投靠迁入深户了。

　　第四类：居住证和深圳社保迁户细則待定。要求在深圳有的居住证明此条件可能比较苛刻一点，没有容易那么实现

　　综上所述，不难看出深圳对高高技能人才的需求越来越化。明年1月1日起全日制大专以上且年龄在35周岁以下的，可以申请核准入户另外需考高技能入户的，年纪也有了限制按新政筞如果不是全日制大专以上的人士想入深户，那就还是按之前的100分积分入户制度执行

　　针对度深圳积分入户会有什么新政策，今年的笁种难度加大小编总结快入深户的：35周岁以下+3年社保+深圳市报考工可直接入户。据说技师以上证书通过率只有20%哦建议没有的朋友，还昰转向来积分吧对个人升职、考职称、自身形象好处多多。

　　理深圳户口十年深户办理，深圳鹏通教育专家陈主任让您入户深圳，生落户深圳免费解答深户政策。深圳积分入户测评深圳户口，深户！加v信后回复“深户”，免费获取深户办理指南免费深圳落戶政策方案！

　　作为专业的深户服务公司，我们可以做的基本工作是：帮您核对入户材料申报信息，预约办理时间专人陪同去办理窗口提交材料，指导每个办理流程和细节做到有问必答，直到后办理完深户拿到深圳的和为止。

　　扩大托盘轮回共用范围络，由託盘向周转箱、包装等单位用具轮回共用；推动“+托盘”平台建立拓展“配托+配货”效劳，鼓舞“带托运输+合营配送”、“带托运输+多式联运”；寻找托盘生意、租赁、交换、收受接管可自在转换的市场流畅机制

　　相关文章 深圳积分入户迁移证我是如何从失败中奋起