[Tensorflow] MLP(Multi Layer Perceptron) classification with MNIST data

Tensorflow MLP classification

Classification 개념 정리

1 Softmax Regression (모델)

어떤 input x가 주어졌을 때, 그것이 class i라고 확신하는 정도(evidence)

evidencei​=j∑​Wi,j​xj​+bi​

위의 evidence를 softmax function을 통해 프로그램이 레이블(Label)을 y라고 예측할 확률로 바꾼다.

y=softmax(evidence)

위 식에서 softmax 함수 일종의 link 함수로써 선형함수의 결과(evidence)를 우리가 원하는 형태로 바꾸어준다.

$$softmax(x)=normalize(exp(x))$$

$$softmax(x)_i = \frac{exp(x_i)}{\sum_{j}exp(x_j)}

위의 식을 간단하게 나타내면 다음과 같다.

$$y=softmax(Wx+b)$$

2 Cross-entropy (평가)

softmax regression 모델이 잘 학습하고 있는지를 평가하는 evaluation function 중 하나.

Hy′​(y)=−i∑​yi′​log(yi)

3 Gradient descent (경사하강법)

cross-entropy를 최소화 하는 방향으로 최적화 하기 위한 방법 중 하나.

python

# MNIST 데이터 다운로드

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

# Tenworflow 라이브러리 추가

import tensorflow as tf

import numpy as np

# 변수 설정

x = tf.placeholder(tf.float32, [None, 784])

W = tf.Variable(tf.zeros([784, 10]))

b = tf.Variable(tf.zeros([10]))

y = tf.nn.softmax(tf.matmul(x, W) + b)

# cross-entropy 모델 설정

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

# 경사하강법으로 모델을 학습한다.

init = tf.initialize_all_variables()

sess = tf.Session()

sess.run(init)

for i in range(1000):

    batch_xs, batch_ys = mnist.train.next_batch(100)

    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

    

# 학습된 모델이 얼마나 정확한지 출력한다.

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_:mnist.test.labels}))

    Extracting MNIST_data/train-images-idx3-ubyte.gz

    Extracting MNIST_data/train-labels-idx1-ubyte.gz

    Extracting MNIST_data/t10k-images-idx3-ubyte.gz

    Extracting MNIST_data/t10k-labels-idx1-ubyte.gz

    0.9169

• 20.12.07 수식 수정