ubuntu16.04安装caffe5.04下caffe安装出现这个,怎么配置

Ubuntu15.04+caffe+cuda7.5+cudnn+matlab
9月份决定要搭建深度学习的环境,一直到现在搭建好caffe,我只想说&F U C K&,竟然弄了3个月,3个月啊抓狂。
1.开讲前的废话
以下纯属吐槽,是废话,大家可略过:
8月份,老师让我搞深度学习,一开始我是拒绝的,因为我觉得它好难啊,这么高大上的东西我一个小白怎么搞,无奈老师的话还是要听的,硬着头皮搞,但当时只想着回家,也没有正儿八经弄就随便弄了个windows下的theano糊弄过去了,开学后不得不收拾烂摊子,从选择深度学习的框架theano、caffe、torch。经过我精挑细选最终选择了caffe。
漫长的征程开始了,先准备在windows下弄,搞了半天没弄出来,so放弃,接着改在Ubuntu下弄,由于第一次装双系统,没经验,把我的笔记本搞坏了,遇到种种问题(怎么直接进入Ubuntu了,windows进不去了,说好的双系统呢;经过一番折腾。嗯,终于进入windows了,嗯?怎么不能上网了,为什么ubuntu下能上网而windows上不了呢;经过一番折腾。嗯,windows终于可以上网了,现在开始使用ubuntu吧)第一次接触Linux系统,完全不熟悉,这TM是啥,这个怎么安装,这个怎么用,感觉不如windows,so又放弃了尴尬。随后在老师的强制要求下继续使用熟悉linux系统。好吧。先试着安装cuda吧,嗯。竟然还要卸载驱动,还要关闭tty什么的,没办法,搞吧。wc,怎么ubuntu登陆后分辨率变模糊了,经过一番折腾。更新下驱动弄好了;继续搞,怎么出现花屏了,经过一番折腾;继续搞,怎么ubuntu出现循环登录了,MGJ,继续搞。期间各种重装系统啊,感觉一学期都在重装系统啊,由于没备份,我笔记本里的东西早没了,同学们切记要有经常备份的习惯啊。感觉心好累,经过1个月左右的适应,总算对ubuntu有个基本了解了,现在安心装caffe吧。
你以为这样就完了吗,NO,安装caffe也是各种问题,差不多就是一步一个error,步步惊心啊,我的心情是崩溃的。
没办法,继续搞,从失败中总结教训,出错就google(某度就是渣渣),在qq群里问,最后换了ubuntu15.04,cuda7.5才成功的。
好了,废话说完了,让我们开始把。
百度云链接链接:/s/1numfgTz 密码:4jbz
2.Linux的安装
这里不详细说明,网上有很多,只是提几点需要注意的问题。
根分区: \ 100G,
Swap交换分区:128G ,这里设置成内存的1.5-2倍
boot分区:200M
Home分区:剩余的空间,建议300G以上。
安装完后软件更新器会提示让你更新,建议更新一下。
然后命令行输入,安装一些东西
sudo apt-get update&&
sudo apt-get install git vim cmake automake&
如果是Linux新手,不建议直接安装caffe,建议先熟悉一下Linux系统,掌握基本操作及关键命令如vim cd等等。
3.CUDA的安装(.deb方法)
直接去Nvidia的官网下载cuda7.5的ubuntu15.04 的deb(local)版,大概1.9G.
输入以下3行代码即可
sudo dpkg -i cuda-repo-ubuntu-local_7.5-18_amd64.deb`&
sudo apt-get update`&
sudo apt-get install cuda`&
我还安装了nvcc编译器,因为要写cuda程序
命令行输入
nvcc --version&
按照提示安装即可。
4.Matlab的安装
matlabR2014a不好找,找不到的可以去开头的百度云链接下载
Mathworks.Matlab.R2014a.Unix.iso,右键 - 使用磁盘映像挂载器打开&,进入装载的虚拟光盘,拷贝全部文件至home/Matlab 文件夹
复制Crack/install.jar至 home/Matlab/java/jar/ 并覆盖源文件
$ sudo cp install.jar /home/Matlab/java/jar/&/span&&
授权安装文件夹
$ chmod a+x Matlab -R&
$ sudo ./install&&
选项:不使用Internet安装,建议把网线拔掉
默认路径:/usr/local/MATLAB/R2014a
勾选从默认启动路径创建符号链接(实现在任意位置运行matlab启动程序)
激活文件:license_14a.lic
拷贝 libmwservices.so 至 /usr/local/MATLAB/R2014a/bin/glnxa64
$ sudo cp libmwservices.so /usr/local/MATLAB/R2014a/bin/glnxa64/&
解决编译器gcc/g++版本问题。
因为Ubuntu 15.04的gcc/g++版本是4.9.2,而Matlab 2014a(2015a)的版本是4.7.x所以在使用matla调用mex文件的时候,基本上都会报错,根据报错信息,考虑如下两步解决方案。
降级安装gcc/g++版本为4.7.x
(a). 下载gcc/g++ 4.7.x
$ sudo apt-get install -y gcc-4.7&
$ sudo apt-get install -y g++-4.7&
(b). 链接gcc/g++实现降级
$ cd /usr/bin&
$ sudo rm gcc&
$ sudo ln -s gcc-4.7 gcc&
$ sudo rm g++&
$ sudo ln -s g++-4.7 g++&
4.安装BLAS(此处为Intel的MKL)
这里可以选择(ATLAS,MKL或者OpenBLAS),我这里使用MKL,首先下载并安装英特尔& 数学内核库 Linux* 版MKL(Intel(R) Parallel Studio XE Cluster Edition for Linux 2016),下载链接是:/en-us/intel-education-offerings, 使用学生身份(邮件 + 学校)下载Student版,填好各种信息,可以直接下载,同时会给你一个邮件告知序列号。下载完之后,要把文件解压到home文件夹(或直接把tar.gz文件拷贝到home文件夹,)
$ tar zxvf parallel_studio_xe_2016.tar.gz&&
$ chmod a+x parallel_studio_xe_2016 -R&
$ sh install_GUI.sh&
然后按照提示操安装即可,序列号可在百度云获得,其他的默认即可。
MKL与CUDA的环境设置
1. 新建intel_mkl.conf, 并编辑之:
$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf&
文件中输入
/opt/intel/lib/intel64&
/opt/intel/mkl/lib/intel64&
2. 新建cuda.conf,并编辑之:
$ sudo gedit /etc/ld.so.conf.d/cuda.conf&
文件中输入
/usr/local/cuda/lib64&
3. 完成lib文件的链接操作,执行:
$ sudo ldconfig -v&
5.安装opencv3.0
这里使用的是欧新宇提供的opencv
切换到文件保存的文件夹,然后安装依赖项:
$ sudo sh Ubuntu/dependencies.sh&
3. 切换目录Ubuntu\3.0\安装OpenCV 3.0.0:
$ sudo sh opencv3_0_0.sh(或者选择-rc1.h)&
保证网络畅通,因为软件需要联网这里时间较长,请耐心等待。。。,
要注意安装过程中不能有error出现,如果出现error,就反复安装
完成后测试一下,写个opencv程序linux下编写opencv测试一下
6.安装依赖项
安装Google Logging Library(glog),下载地址:/p/google-glog/,然后解压安装:
$ tar zxvf glog-0.3.3.tar.gz&
$ ./configure&
$ sudo make&
$ sudo make install&
安装其他依赖项,确保都成功
$ sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev&&
libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev&&
liblmdb-dev protobuf-compiler protobuf-c-compiler&&
7.安装caffe
安装pycaffe必须的一些依赖项:
$ sudo apt-get install -y python-numpy python-scipy python-matplotlib&&
python-sklearn python-skimage python-h5py python-protobuf python-leveldb&&
python-networkx python-nose python-pandas python-gflags Cython ipython&
&安装配置nVidia cuDNN 加速Caffe模型运算
安装前请去先官网下载最新的cuDNN (cudnn-70-linux-x64-v3)。
转到解压好的cudnn目录
$ sudo cp include/cudnn.h /usr/local/include&
$ sudo cp lib64/libcudnn.* /usr/local/lib&
链接cuDNN的库文件
$ sudo ln -sf /usr/local/lib/libcudnn.so.7.0.64 /usr/local/lib/libcudnn.so.7.0&
$ sudo ln -sf /usr/local/lib/libcudnn.so.7.0 /usr/local/lib/libcudnn.so&
$ sudo ldconfig -v&
切换到Caffe-master的文件夹,生成Makefile.config配置文件,执行:
$ cp Makefile.config.example Makefile.config&
配置Makefile.config文件(仅列出修改部分)
a. 启用CUDNN,去掉&#&
USE_CUDNN := 1
b. 配置一些引用文件(增加部分主要是解决新版本下,HDF5的路径问题)
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial
c. 启用Intel Parallel Studio XE 2016
BLAS := mkl
d. 配置路径,实现caffe对Python和Matlab接口的支持
PYTHON_LIB := /usr/local/lib
MATLAB_DIR := /usr/local/MATLAB/R2014a
c. 启用OpenCV 3.0, 去掉&#&
OPENCV_VERSION =3
d.应用python
WITH_PYTHON_LAYER :=1
配置Makefile文件(实现对OpenCV 3.x的支持)
打开Makefile,查找&Derive include and lib directories&一节,修改&LIBRARIES +=&的最后一行,增加opencv_imgcodecs
opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs
在命令行中输入
export CUDA_VISIBLE-DEVICES=0
export MKL_CBWR=AUTO
编译caffe-master!!!&-j8&是使用CPU的多核进行编译,可以极大地加速编译的速度,建议使用。
转到caffe的目录
$ sudo make all -j8&
$ sudo make test -j8&
$ sudo make runtest -j8&
我的make runtest后如下图,可能会有2项没通过,这个不用管
编译Python和Matlab用到的caffe文件
$ sudo make pycaffe -j8&
$ sudo make matcaffe -j8
Ubuntu14.04 CuDNN安装(Caffe+Cuda7.0下):
Caffe在Ubuntu 14.04 64bit下的安装:
Caffe+Ubuntu 15.04+CUDA 7.0新手安装配置指南:
Caffe+Ubuntu 14.04 64bit+CUDA 6.5配置说明:
Caffe安装指南:
------分隔线----------------------------ubuntu14.04 64位安装mkl2016时显示检测不支持我的系统.怎么办?
顺带一提,下面例子也没有ubuntu系列啊~~~
已有帐号?
无法登录?
社交帐号登录Caffe安装教程(Ubuntu15.04+CUDA7.5)
Caffe安装教程(Ubuntu15.04+CUDA7.5)
Deep Learning
Caffe安装教程(Ubuntu15.04+CUDA7.5)
作为开源的深度学习框架,有着代码结构清晰,速度快等优点。但是配置与安装一直是个比较令人头疼的问题。尤其是随着每个Caffe包版本的升级以及CUDA等必要的库的更新换代,之前能用的教程说不定版本一更新就用不了了。在配置Caffe的时候我就走了不少弯路。最后折腾了好几天才搞定。这里我把我配置的流程简单介绍一下。
Ubuntu的安装
我安装的是Ubuntu15.04版本,安装Ubuntu是相对来说比较简单的。你只要需要一个作为启动盘的U盘即可。Ubuntu安装完以后我们优先安装vim和git两个重要的软件。
sudo apt-get update
sudo apt-get install git vim cmake automake
必要软件安装和环境的简单配置
打开CUDA官方下载的,进行平台的选择。我选择Ubuntu15.04,然后在Installer Type要选择deb(local),这样我们下载一个大小约为2g左右的文件。
然后在文件下好的目录下打开终端看,运行以下三句话就可以了。网上有很多非常复杂的配置CUDA的教程。那是因为他们用的是runfile安装,这样的方法又繁琐又容易出错。这里我们只要简单用local的deb文件,根据官网的教程走就可以了,没必要走复杂的流程。只需运行以下的三句。
sudo dpkg -i cuda-repo-ubuntu1504-7-5-local_7.5-18_amd64.deb`
sudo apt-get update`
sudo apt-get install cuda`
安装完以后配置环境变量。
sudo vi /etc/ld.so.conf.d/cuda.conf
在cuda.conf里添加
/usr/local/cuda/lib64
保存以后让lib文件链接
sudo ldconfig -v
其它的依赖项
按照顺序运行以下的语句。
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install -y python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython
sudo apt-get install libatlas-base-dev
这样就安装了protobuf,snappy,hdf5,boost,gflags,glog,lmdb,python以及atlas。
由于我们的系统版本是15.04,不需要单独去下载glog,gflags等单独make。能apt-get的就最好不要自己make。
安装Opencv
关于Opencv的版本问题,最好安装3.0的。我试过安装2.4.9和2.4.10的,总会出现各种问题。比如ffmpeg链接问题,识别cuda问题。在stackoverflow和github上寻找各种解决办法,最后发现只要把版本升上去的话就能够解决这些问题。
比如我在安装2.4.9的时候遇到了这样的bug:
opencv-2.4.9/modules/gpu/src/nvidia/core/NCVPixelOperations.hpp(51): error: a storage class is not allowed in an explicit specialization
最后搜到了这样的解决方案。所以一劳永逸的方法是安装3.0
安装3.0的时候运行这样的语句即可,感谢Ouxinyu提供的shell脚本。
git clone https://github.com/ouxinyu/Install-OpenCV-master.git
cd Install-Opencv-master/Ubuntu
sh dependencies.sh
sh opencv3_0_0-rc1.sh
shell脚本里包含了下载opencv附加项,从git下载Opencv3.0文件以及编译,环境变量配置的全部过程。
为了测试一下Opencv是否安装成功了,可以参考。
Caffe安装和编译
Caffe的下载去Github下载即可。
git clone https://github.com/BVLC/caffe.git
cp Makefile.config.example Makefile.config
然后修改Makefile.config的选项。
-1.配置引用文件
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial
-2.应用Opencv3.0
OPENCV_VERSION :=3
-3.应用Python
WITH_PYTHON_LAYER :=1
然后就可以makefile了。
make all -j4
make test -j4
make runtest -j4
如果一切顺利的话,应该不会报错直接结束的。
-1.按照官方的来
由于Caffe版本一直在更新,所以如果按照旧的教程的话往往会有千奇百怪的错误。所以最好直接找官方的Guide来操作。
-2.多Google,多Stackoverflow
你要相信你遇到过的错误别人早就遇到过了,最好在Google和Stackoverflow上搜索出现的错误。错误最好是英文原文,这样比较方便能搜到正确的结局方案。
-3.优先apt-get,其次Git,再次网站下的zip
安装软件和依赖项的时候,能用系统的apt-get install的优先这么做,因为这样就不需要你自己编译以及配置环境变量。当没法apt-get而且软件可以在Github上找到的时候,优先去Github上clone。因为一般这个project对应的Readme里面会有非常细致的安装介绍。比如安装Caffe的时候我们就是从Github上clone的。当Github上也没有的时候才会考虑去官网下载,比如安装CUDA的时候我们是在官网下的deb文件。
中国科学技术大学多媒体计算与通信教育部-微软重点实验室
MultiMedia Computing Group
我的热门文章
即使是一小步也想与你分享Ubuntu Linux 15.04配置安装Caffe
最近开始尝试Deep Learning的东西,师兄推荐了Caffe,开始尝试如何配置Caffe运行所需环境。
OK,开始动手。
找到Caffe官网的安装指南:http://caffe.berkeleyvision.org/installation.html,着实被安装的预备条件吓了一下,好大一坨,没办法,安装需求,硬着头皮也要上啊,一项一项开始走起,我这里基本都是自己编译的包,并不是同其它文章中的使用Ubuntu软件库进行的安装配置。)
1、CUDA和BLAS安装
CUDA安装包和驱动的下载去NVIDIA官网下就好,Caffe官方推荐的是最新的CUDA 7.0及以上版本,所以,追了一把潮流,来了一个7.5版本的,驱动来个Linux环境下的闭源驱动,如果已经安装Linux下Additional Driver推荐的驱动的话,需要卸载重新安装,这个通过系统工具安装的驱动是没办法安装从官网下载的CUDA工具包的(记得之前是这个样子),这里也没有选择通过apt-get安装的CUDA版本,一步一步走起,感觉能更好的理解整个安装过程,而且,也知道自己安装的东西所在目录吧。
a) CUDA 7.0安装
首先,安装对应的依赖包:
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
------- deb安装方法
$ sudo dpkg -i cuda-repo-&distro&_&version&_&architecture&.deb
$ sudo apt-get update
$ sudo apt-get install cuda
安装完成后需要配置CUDA的环境变量:
~/.bashrc中最后加入:
$ export PATH=/usr/local/cuda-6.5/bin:$PATH
$ export LD_LIBRARY_PATH=/usr/local/cuda-6.5/lib64:$LD_LIBRARY_PATH
------- run文件安装方法
首先,安装显卡的闭源驱动,这里需要删除对应的Ubuntu系统下默认使用的显卡驱动:
sudo apt-get --purge remove xserver-xorg-video-nouveau
禁用nouveau驱动:
在/etc/modprobe.d/blacklist.conf配置文件后边加入(或者单独创建一个文件):
blacklist nouveau
options nouveau modeset=0
重新生成kernel 的initramfs:
sudo update-initramfs -u
重启系统。
登陆界面按下ctrl+alt+F1,进入字符界面,登入系统,关闭lightdm管理器:
sudo service lightdm stop
进入NVIDIA闭源驱动所在目录,执行:
sudo ./&NVIDIA驱动文件&.run
之后执行对应的CUDA安装文件:
sudo ./&CUDA安装文件&.run
注意:这两个文件默认没有执行权限,需要手动添加执行权限:chmod +x &文件名&.run
b) OpenBLAS安装
可选的有ATLAS(Caffe的默认选项)、Intel MKL和OpenBLAS,由于ATLAS需要关闭CPU Throttling,这里并没有找到对应的关闭方法,且很多方法现如今都已经无效了,所以,这里使用的是OpenBLAS库文件,这里从Github上下载OpenBLAS:
git clone /xianyi/OpenBLAS
安装相对就简单很多了,进入OpenBLAS下载目录下
make && make install PREFIX=&安装的目标目录&
2、Boost安装
下载对应的Boost安装包,本文用的Boost安装包版本为boost_1_59_0.tar.bz2,解压之:
tar --bzip2 -xf &目标文件夹&
进入boost解压目录,可以通过如下命令查看安装帮助:
./bootstrap.sh --help
安装命令:
./bootstrap.sh --prefix=&安装目录& // 默认安装目录为/usr/local,我使用的是默认安装目录,因为没有弄明白对应的环境变量设置。
其他详细的安装选项见:http://www.boost.org/doc/libs/1_59_0/more/getting_started/unix-variants.html
3、protobuf安装
这里Caffe需要Protobuf(Google自己开发的一套协议框架,感觉很犀利的样子,有一篇博客介绍protobuf的:http://blog.csdn.net/caisini_vc/article/details/5599468),但安装Protobuf之前,需要先行编译安装googlemock和googletest,这里去Github上下载对应的googletest,下载地址:/google/googletest,由于googlemock依赖于googletest,且最新版的googlemock已经放到googletest项目中,所以只需要下载googletest即可。
git clone /google/googletest
进入googletest目录下,执行命令编译安装googletest:
./travse.sh
mkdir build && cd build
sudo make && make install
或者分别进入googletest和googlemock文件夹下,分别编译安装,但是应注意先行编译安装googletest,之后是googlemock。
OK,准备工作完成。
编译安装protobuf:
git clone /google/protobuf// 下载protobuf
首先,我们需要生成configure文件,进入protobuf文件夹下,执行:
./autogen.sh
安装命令:
./configure --prefix=&安装目录&
make check
sudo make instal
4、glog安装
Google的日志模块,下载:
git clone /google/glog
./configure && make && make install
5、gflags安装
git clone /gflags/gflags
安装命令,安装参数详细介绍见INSTALL.md:
mkdir build && cd build
ccmake ..// 按&c'配置build系统参数,&e'忽略警告,设置生成参数信息,&c&直至&g&可用,按&g&生成配置文件(configuration file)
make install
6、hdf5编译安装
HDF5下载地址:http://www.hdfgroup.org/HDF5/release/obtainsrc.html,本文用的是HDF5-1.8.16。
tar xvf hdf5-1.8.16.tar
简单安装方法,进入解压后的源码目录中,执行
./configure --prefix=&安装目录&
make check // 执行测试例程
make install
make check-install // 验证安装.
同事,HDF5安装也支持CMake工具,关于CMake编译安装的方法或者完整安装方式请见: http://www.hdfgroup.org/HDF5/release/obtainsrc.html中给出的安装文档。
至此,Caffe强制的依赖包已经安装完成,可选的依赖包如lmdb,leveldb,cuDNN和OpenCV这里不再介绍,注意,如果安装Python Caffe还需要numpy(&=1.7)的软件包和Boost的Python支持。
------分隔线----------------------------Ubuntu 14.04安装Nvidia CUDA7.5并搭建Python Theano深度学习开发环境&
Ubuntu下CUDA(含GPU卡驱动)安装过程&
Caffe + Ubuntu 14.04 64bit + CUDA 6.5 配置说明&
Ubuntu 14.04 安装配置CUDA&
Ubuntu 12.04配置NVIDIA CUDA5.5实录&
Ubuntu安装Theano+CUDA&
关于Ubuntu 12.04 下 CUDA5.5 的安装请参看如下链接
更多Ubuntu相关信息见 专题页面
本文永久更新链接地址:
相关资讯 & & &
& (昨 20:04)
& (06月22日)
& (11/07/:57)
& (06月22日)
& (11/07/:16)
& (09/28/:45)
图片资讯 & & &

我要回帖

更多关于 ubuntu15.04安装caffe 的文章

 

随机推荐