Deep Learning A-Z™: Convolutional Neural Networks (CNN) - Module 2

This document provides an overview of convolutional neural networks (CNNs). It discusses the key steps in a CNN including convolution, ReLU activation, pooling, flattening and fully connected layers. Examples of feature maps being extracted at each convolution step are shown. CNNs have been very successful for tasks like image classification and are widely used by companies such as Google and Facebook. - View online for free

https://www.slideshare.net/KirillEremenko/deep-learning-az-convolutional-neural-networks-cnn-module-2

CNN 이론 요약

1. Convolution Operation

2. ReLU Layer

3. Pooling

4. Flattening

5. Full Connection

6. Softmax & Cross-Entropy

[DL - 논문 리뷰] Gradient-Based Learning Applied to Document Recognition(LeNet-5)

이번 포스팅에서는 LeNet-5라고 알려져 있는 Yann LeCun이 1998년에 발표한 "Gradient-Based Learning Applied to Document Recognition"을 읽고 정리해 보도록 하겠습니다. I. Introduction 본 논문에서 시사하고자 하는 바는 사람이 일일이 설계한 특징(?)들에 의존하기보단, 자동화된 학습(automatic learning)에 의존하는 것이 패턴인식에 더 효과적이라는 것입니다. Introduction에서는 두 가지 케이스를 제시했습니다. 첫 번째는 character recognition이고, 두 번째는 document understanding입니다. character recognition의 경우 독립된 하나의 글자를 인식하는 문제입니다. 이러..

https://jjuon.tistory.com/21

ReLU Layer

Max Pooling

• 크기가 줄어든다

• 매개 변수의 수가 줄어들어 과적합을 방지한다.

Flattening

CNN 전체 과정 요약

Full Connection

The 9 Deep Learning Papers You Need To Know About (Understanding CNNs Part 3)

Summarizing and explaining the most impactful CNN papers over the last 5 years

https://adeshpande3.github.io/The-9-Deep-Learning-Papers-You-Need-To-Know-About.html

Softmax & Cross Entropy

• 출력값이 아주 작아서 경사 하강법의 경사도 낮을거라 올바른 방향으로 나아가기 어려울 것이다.

• 반면에 크로스 엔트로피를 사용하면 안에 로그가 있어서 이런 작은 오류도 평가해서 조치할 수 있다.

CNN 실습

1. Data Processing

2. Building the CNN
1. Initialize the CNN
2. Convolution
3. Pooling
4. Add second covolutional layer
5. Flattening
6. Full Connection
7. Output Layer

3. Training the CNN
1. Compile the CNN
2. Traning and Evaluating

4. Making a single prediction

0. Importing the libraries

import tensorflow as tf
from tensorflow.keras.preprocessing.image import ImageDataGenerator

1. Data processing

Preprocessing the Training set

train_datagen = ImageDataGenerator(
    rescale=1./255,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True
)

training_set = train_datagen.flow_from_directory(
    'dataset/training_set',
    target_size=(64,64),
    batch_size=32,
    class_mode='binary'
)

• binary_crossentropy는 이진 분류 문제에 최적화되어 있다.

• categorical_crossentropy는 원-핫 인코딩된 출력에 대해 작동하므로, 2개의 클래스인데도 불필요하게 더 많은 연산을 하게 된다.

Preprocessing the Test set

test_datagen = ImageDataGenerator(rescale=1./255)
test_set = test_datagen.flow_from_directory(
    'dataset/test_set',
    target_size=(64,64),
    batch_size=32,
    class_mode='binary'
)

2. Building the CNN

Initialize the CNN

cnn = tf.keras.models.Sequential()

Convolution

cnn.add(tf.keras.layers.Conv2D(filters=32, kernel_size=3, activation='relu', input_shape=[64, 64, 3]))

• filters 는 말 그대로 filter의 개수

• kernel_size 는 filter의 크기 (여기서는 3 x 3 matrix이다.)

• activation는 이제는 알아야 한다.

• input_shape은 위에서 targert_size(64) + RGB(3) 만약 흑백이라면 3이 아니라 1을 넣어야 한다.

Pooling

cnn.add(tf.keras.layers.MaxPool2D(pool_size=2, strides=2, padding='valid'))

• pool_size는 pool의 크기

• strides는 pool마다 이동할 단위 (여기서는 2칸씩 이동)

• padding은 범위를 넘었을 때 대응 방법이다. valid가 기본값으로 index가 넘어가도 처리 가능하다.

Adding a second convolutional layer

cnn.add(tf.keras.layers.Conv2D(filters=32, kernel_size=3, activation='relu'))
cnn.add(tf.keras.layers.MaxPool2D(pool_size=2, strides=2, padding='valid'))

Flattening

cnn.add(tf.keras.layers.Flatten())

Full connection

cnn.add(tf.keras.layers.Dense(units=128, activation='relu'))

Output Layer

cnn.add(tf.keras.layers.Dense(units=1, activation='sigmoid'))

3. Training the CNN

Compiling the CNN

cnn.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

Training the CNN on the Training set and evaluating it on the Test set

cnn.fit(x = training_set, validation_data= test_set, epochs = 25)

4. Making a single prediction

import numpy as np
from keras.preprocessing import image
test_image = image.load_img('dataset/single_prediction/cat_or_dog_1.jpg', target_size = (64, 64))
test_image = image.img_to_array(test_image)
test_image = np.expand_dims(test_image, axis = 0)
result = cnn.predict(test_image)
training_set.class_indices
if result[0][0] == 1:
  prediction = 'dog'
else:
  prediction = 'cat'

• image.img_to_array 는 load_img에서 반환된 PIL 이미지를 numpy 배열로 변환시켜준다.
• keras 모델이 numpy 배열만 입력받을 수 있기 때문이다.

• np.expand_dims 는 배치 차원을 추가해주는 함수이다.
• 딥러닝 모델은 항상 배치 단위로 처리하도록 설계돼 있기 때문이다.
• 근데 ANN 시간에는 배치 단위로 처리하지 않지 않았나? → 2차원 배열 형태로 만들어준게 배치 단위다.
• axis의 역할은, 맨 앞에 차원 하나를 추가한다는 뜻이다.
• 원래 이미지 하나를 부르면 test_image.shape → (64, 64, 3) 이다.
• CNN은 (batch_size, height, width, channels) 인자를 받아야 한다.
• 따라서 np.expand_dims 를 통해 (1, 64, 64, 3)가 된다.

• result[0][0]을 하는 이유는 result가 아래와 같은 형태로 나오기 때문이다.

result           # 예: [[0.934]]
result[0]        # [0.934]
result[0][0]     # 0.934