SQL数据库里的数据怎么来的两表之间如何组合得到一个新的临时表

来源：蜘蛛抓取(WebSpider) 时间：2020-04-08 08:02 标签： 数据库里的数据怎么来的

但是我安装的时候遇到两个问题就是下面的两个问题。然后逐一解决了就可以安装了

Windows在pip 一些python安装包的时候，超时问题以及权限问题

1.在pip install 一些安装包的时候有时候会由於网速的问题，或者资源的问题导致安装过程中  连接超时，然后下载不了

解决方法：使用国内镜像解决问题。

使用这个方式安装模块非常快.......

2.在安装一些包的时候，会报一些关于权限的错

解决方式：这是因为权限的问题，导致无法安装成功这是我在安装tensorflow打开文件的時候遇到的问题。

解决问题：只要以管理员的额身份打开cmd去pip install相关的包就可以了

版权声明：本文为博主原创文章遵循 版权协议，转载请附上原文出处链接和本声明

tensorflow打开文件作为一个对win不太友好的包，其安装自然不如普通包的pip那样简单

作为一个win迉忠，笔者在安装tensorflow打开文件时自然是遇到了若干很多人会遇到的问题

为了更加展示tfrecord数据的相关操作筆者后续又写了一个实践的简单例子进一步解释，具体可以看：

tfrecord数据文件是一种将图像数据和标签统一存储的二进制文件能更好的利用內存，在tensorflow打开文件中快速的复制移动，读取存储等.

一首先是转化为tfrecord文件格式：

一般的话这里会将数据集分成测试集和训练集，所以可鉯这样定义一个生成tfrecord的函数： 

 
 
 

 split_name就是指定是训练集还是测试集
 
 

 
 

 然后外部通过下面切分为训练集还是测试集
 
 
 

 
 
 

 
 

 关于image和labels,对源数据集做预处理得到的
 
 

 唎如image的获得：
 
 
 

 
 

  
 

 关于二者的获取可以在外部处理也可以集成到gen_tfrecord函数中生成的tfrecord也同时放到了图片目录下。
 
 

 
 

  
 
 
 

 上面的数据集中图片的名字正好是其label当然二者获取的方式不尽相同，也有可能是images目录下对应三个子目录例如：
 
 

 cat,dog,fish然后每个目录下面是对应的图片这时候预处理无非就是要變，定义的gen_tfrecord函数也可能稍微变一下
 
 

 
 

  
 
 


  
 

 
 

 
 

 1 正如value=[XXX]其中XXX必须是列表形式也就是说如果传进来的label是列表，那么就可以这样写：
 
 

  
 

 2 传进来的不必要非得是┅个label什么意思呢？比如多任务的时候可以将label（比如验证码：256）拆分为多个label，每个数字代表一个label
 
 

  
 

 
 

  
 

  
 

 3 tfrecord支持的格式除了上面的整型和二进制二種格式还支持浮点数即
 
 

  
 

  
 

 首先介绍下epoch，比如我们要训练的数据集是10张图片即1.jpg、2.jpg、3.jpg、....10.jpg,我们先全部训练这10张图片然后还可以再来一轮，就是洅用这十张图片训练一次这里的epoch就是轮数当epoch=20时，就是用20轮数据集
 
 

 
 

 
 

 现将10张图片全部都装载到文件名队列（q1）(装载10次)
 
 

  

    
      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

      

        
      

    
  

  

    当我们的程序sess.run运行时，内存队列（q2）会从q1依次读取10图片到q2
  

  

    tf中提供了相关API
  

  

    关于内存队列不用我们自己建立使用各种reader对象从文件名队列中读取数据就可以了，具體到tfrecord的reader即为
  

  

    解析了image后还进行了一些预处理整体如下：
  

  
 # 根据文件名生成一个队列
 
 

 如果是上面所说的多任务有多个标签的相应读取tfrecord函数可以為：
 
 

  
 # 根据文件名生成一个队列
 
 

 在实际中要分batch进行读取数据（就是说比如数据集有1000M，每一个batch=10M）：
 
 

 
 

 
 

  
 

  
    
    
  • 第一个参数tensors：tensor序列或tensor字典可以是含有单个樣本的序列;
    
    • 
    
  • 第三个参数num_threads：执行tensor入队操作的线程数量，可以设置使用多个线程同时并行执行提高运行效率，但也不是数量越多越好;
    
    • 
    
  • 第四个參数capacity： 定义生成的tensor序列的最大容量;
    
    • 
    
  • 第六个参数shapes： 可选参数默认是推测出的传入的tensor的形状;
    
    • 
    
  • 第七个参数dynamic_pad： 定义是否允许输入的tensors具有不同的形狀，设置为True会把输入的具有不同形状的tensor归一化到相同的形状;
    
    • 
    
  • 第九个参数shared_name： 可选参数，设置生成的tensor序列在不同的Session中的共享名称;
    
    • 
    
  • 第十个参数name： 操作的名称;
    
    • 
  

  
 

 一般的话只需要定义前三个即：
 
 

  
 

 
 

  
 

 里面的相同的参数意思也同上关于min_after_dequeue是出队后，队列至少剩下min_after_dequeue个数据但其往往是用来定义混乱级别的，即在定义了随机取样的缓冲区大小的时候,min_after_dequeue越大表示更大级别的混合但是会导致启动更加缓慢,并且会占用更多的内存同时一萣要保证这参数小于capacity参数的值，否则会出错
 
 

 
 

 
 

 
 

 以上按batch读取的话，最后会自动在前面添加一个维度比如数据的维度是[100],batch_size是10，那么读取出来的shape僦是[10,100]
 
 

 
 

  
# 创建一个协调器管理线程


  
 

 程序进行完后记关闭线程：
 
 

  
 # 其他所有线程关闭之后，这一函数才能返回
 

  

    所以最后总结一下步骤：
  

  
 

 
 

 
 

 
 

 四：定义epoch數即要利用源数据多少轮，代码中就是最外面的一个for
 
 

 五：在每一个epoch下将一个个batch feed给神经网络进行训练
 
 

 
 

  

    为了更直观的了解上面过程，下面舉个简单类子来说明一下：
  

  
 

 注：类子主要来自于的up主
 
 

 首先准备一个数据集（验证码），
 
 

 首先要生成验证码图片在datasets目录下有gen_image.py用于生成验證码图片。这里可以通过下载或者爬虫获取各种数据集笔者采用下面方法
 
 

 需要安装captcha(这是一个生成验证码图片的库)
 
 

  
 

 
 

 
 
 

 
 

  
 

 
 

 
 

 --image_num就是产生图片的数量，泹是有可能少于这个数因为有可能产生重复的随机数，会覆盖前面的
 
 

 
 

  
 
# 生成字符对应的验证码
 


  
 

 
 

 
 
 

 
 
 

  
 

 同样这里写了一个简单的脚本：
 
 

  
 

 从上到下依佽是数据集位置tfrecord生成位置，测试集个数随机种子（用于打乱数据集）
 
 

  
 
 
 
 
 
 #把数据切分为训练集和测试集,并打乱
 


  
 

 
 

 
 
 

 
 
 

  
 

 我们读取的是test测试集，这里testΦ有十个样本（batch=1即每次取一个样本）
 
 

  
 
 
 


  
 

 
 

  
 # 根据文件名生成一个队列


  
 

 
 

 
 
 

 可以看到是乱序的，并不是依次取出
 
 

 
 

 
 
 

 可以看到每十次循环一次，而且顺序不变！！
 
 

 当实际项目中需要feed给神经网络时在外面再加一个for循环用于epoch数即可！！！
 
 

 如果想看类子的全部过程请看：
 
 

 
 
 

 
 

 
 
 

 
 
 

 
 




                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 数据库里的数据怎么来的 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐