[머신러닝] Ubuntu16.04에서 CUDA, cuDNN, Anaconda, Tensorflow, Pytorch 설치하기

1. Nvidia 그래픽 드라이버 설치

해당하는 그래픽카드와 호환이 되는 367.4x버전 이상의 최신 버전의 드라이버를 설치한다.

$ sudo add-apt-repository ppa:graphics-drivers/ppa

$ sudo apt-get update

$ sudo apt-get install nvidia-375

설치가 끝난 후 재부팅한다.

$ sudo reboot

드라이버 버전과 그래픽카드의 정보가 나오는지 확인한다.

$ nvidia-smi
Wed Dec 20 15:40:51 2017      
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.98                 Driver Version: 384.98                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 960     Off  | 00000000:01:00.0  On |                  N/A |
| 22%   44C    P5    13W / 160W |    251MiB /  1993MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                              
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      1039      G   /usr/lib/xorg/Xorg                           169MiB |
|    0      1778      G   compiz                                        76MiB |
|    0      2043      G   /usr/lib/firefox/firefox                       1MiB |
+-----------------------------------------------------------------------------+

2. CUDA Toolkit v8.0 설치

NVIDIA 사이트에서 현재 최신버전은 v9.1이므로 developer.nvidia.com/cuda-80-ga2-download-archive 에서 8.0 버전을 설치한다. opengl을 설치하지 않아야 무한부팅 에러가 나지 않는다. Ctrl+Alt+F1 으로 커맨드 모드에 접속해 다음 명령어를 실행한다. (lightdm stop 명령어를 이용하면 GUI를 사용할 수 없기 때문) 커맨드 모드에 접속하기 전에 run 파일을 /home/유저명/ 폴더로 옮겨두는 것이 편하다.

$ chmod 777 cuda_8.0.61_375.26_linux.run

$ sudo service lightdm stop

$ sudo ./cuda_8.0.61_375.26_linux.run --no-opengl-libs

이미 그래픽 드라이버를 설치했기 때문에 NVIDIA Driver를 설치한다는 질문에 no라고 선택한다. 설치가 다 된 후에는 환경변수 설정을 한다.

$ vi ~/.bashrc

맨 마지막 부분에 아래 내용을 추가한다. {PATH}에는 기존에 있는 내용을 유지하면 된다.

export PATH = /usr/local/cuda/bin:${PATH}

export LD_LIBRARY_PATH = /usr/local/cuda/lib64:${LD_LIBRARY_PATH}

변경된 환경변수를 적용하고 cuda 설치여부를 확인한다.

$ source ~/.bashrc

$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2016 NVIDIA Corporation
Built on Tue_Jan_10_13:22:03_CST_2017
Cuda compilation tools, release 8.0, V8.0.61

아래 명령어를 통해 cuda가 어느 폴더 저장되어 있는지 알 수 있다.

$ which nvcc
/usr/local/cuda/bin/nvcc

3. cuDNN v6.0 설치

NVIDIA 사이트에서 cuDNN v6.0 for CUDA 8.0 을 다운로드 받는다. cuDNN v6.0 Library for Linux를 다운받으면 된다.

$ tar xzvf cudnn-8.0-linux-x64-v6.0.tgz

$ sudo cp cuda/lib64/* /usr/local/cuda/lib64/

$ sudo cp cuda/include/* /usr/local/cuda/include/
$ sudo chmod a+r /usr/local/cuda/lib64/libcudnn*
$ sudo chmod a+r /usr/local/cuda/include/cudnn.h

다음 명령어를 실행했을 때 아래와 같이 나오면 설치가 잘 된 것이다.

$ cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
#define CUDNN_MAJOR      6
#define CUDNN_MINOR      0
#define CUDNN_PATCHLEVEL 21
--
#define CUDNN_VERSION    (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)

#include "driver_types.h"

+ NVIDIA CUDA Profiler Tools Interface 설치

$ sudo apt-get install libcupti-dev

+ Bazel 설치

$ sudo add-apt-repository ppa:webupd8team/java

$ sudo apt-get update

$ sudo apt-get install oracle-java8-installer

$ echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list

$ sudo apt install curl

$ curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -

$ sudo apt-get update && sudo apt-get install bazel

$ bazel version
Build label: 0.9.0
Build target: bazel-out/k8-fastbuild/bin/src/main/java/com/google/devtools/build/lib/bazel/BazelServer_deploy.jar
Build time: Tue Dec 19 09:31:58 2017 (1513675918)
Build timestamp: 1513675918
Build timestamp as int: 1513675918

4. Anaconda Python 3.6 설치

Anaconda 사이트에서 파이썬 3.6버전의 64bit 아나콘다를 다운로드 받는다. 설치를 하면서 마지막에 환경변수를 적용한다는 질문에 yes 로 답해야 한다. 설치 후에는 변경된 환경변수를 적용한다.

$ bash Anaconda3-5.0.1-Linux-x86_64.sh

$ source ~/.bashrc

파이썬을 실행하면 아래와 같이 Anaconda가 뜬다.

$ python
Python 3.6.3 |Anaconda, Inc.| (default, Oct 13 2017, 12:02:49)
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>

5. Tensorflow 설치

Anaconda에 이미 tensorflow가 설치되어 있으므로 GPU버전만 다시 설치해준다.

// pip install 로 설치했을 때에는 RuntimeWarning: compiletime version 3.5 of module 'tensorflow.python.framework.fast_tensor_util' does not match runtime version 3.6return f(*args, **kwds) 에러가 났기 때문에 uninstall 하고 다시 설치해주었음.

$ conda search tensorflow

$ conda install tensorflow-gpu

$ python
Python 3.6.3 |Anaconda custom (64-bit)| (default, Oct 13 2017, 12:02:49)
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
>>> tf.Session()
2017-12-20 17:34:58.514172: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.1 instructions, but these are available on your machine and could speed up CPU computations.
2017-12-20 17:34:58.514223: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
2017-12-20 17:34:58.514241: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
2017-12-20 17:34:58.514256: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.
2017-12-20 17:34:58.514283: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are available on your machine and could speed up CPU computations.
2017-12-20 17:34:58.763001: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:893] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2017-12-20 17:34:58.763244: I tensorflow/core/common_runtime/gpu/gpu_device.cc:955] Found device 0 with properties:
name: GeForce GTX 960
major: 5 minor: 2 memoryClockRate (GHz) 1.304
pciBusID 0000:01:00.0
Total memory: 1.95GiB
Free memory: 1.65GiB
2017-12-20 17:34:58.763256: I tensorflow/core/common_runtime/gpu/gpu_device.cc:976] DMA: 0
2017-12-20 17:34:58.763260: I tensorflow/core/common_runtime/gpu/gpu_device.cc:986] 0:   Y
2017-12-20 17:34:58.763266: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1045] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 960, pci bus id: 0000:01:00.0)
<tensorflow.python.client.session.Session object at 0x7f63ba279828>

6. Pytorch 설치

$ conda install pytorch torchvision -c pytorch

$ python
Python 3.6.3 |Anaconda, Inc.| (default, Oct 13 2017, 12:02:49)
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> A = torch.rand(3, 4)
>>> print(A)

 0.7512  0.0381  0.1706  0.3747
 0.5672  0.5980  0.3960  0.6589
 0.6865  0.3870  0.0666  0.7997
[torch.FloatTensor of size 3x4]

17.12.20 작성.

설치하면서 참고한 사이트

1 ejklike.github.io/2017/03/06/install-tensorflow1.0-on-ubuntu16.04-1.html

2 newsight.tistory.com/92

3 tensorflow.blog/tag/pytorch/