[Tensorflow] Tensorflow 101(13-19)

✅ 학습의 실제

• 함수를 만들기 위해  W와 B는 랜덤하게 찾아진 모델
• 독립변수의 값에 W를 곱하고 B를 더해서 나온 결과가 H열
• 실제 판매량과 비교한 것이 I열

• W와 loss 값의 관계를 찾는다(증-증, 감-감 등)
• 증-증의 관계라면, 그 관계 속에서도 로스의 미분값에 의해 다음 W 값이 결정됨

• history에 기록하며 loss값을 줄이는 W, B 찾기

 

✅원핫인코딩

• 범주형 데이터를 0과 1로 바꿔주는 작업

❗참고

• 종속변수 종류에 따른 사용하는 알고리즘
  • 양적 -> 회귀 알고리즘
  • 범주형 -> 분류 알고리즘

# 학습 데이터 준비
아이리스 = pd.read_csv('iris.csv')

# 원핫인코딩
아이리스 = pd.get_dummies(아이리스)

• 종속변수가 나뉘며, 세 출력층이 필요해졌다
• y의 최솟값은 0, 최댓값은 1

❗ 활성화 함수(Activation) - Softmax

• 회귀모델: Identity (y=x) 
  • 입력을 그대로 출력으로 만드는 Identity 함수가 있었다
• 분류모델: Softmax

✔분류 예측은 비율을 예측해야 한다 (0~100%)

• sigmoid()
• softmax()

 

✅실습3 - 종속변수가 범주형

1. 학습 데이터 준비

# 라이브러리 사용
import tensorflow as tf
import pandas as pd

# 데이터 준비
파일경로 = 'https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/iris.csv'
아이리스 = pd.read_csv(파일경로)
아이리스.head()

# 원핫인코딩
인코딩 = pd.get_dummies(아이리스)
인코딩.head()
print(인코딩.columns)

# 종속변수와 독립변수의 분리
독립 = 아이리스[['꽃잎길이', '꽃잎폭', '꽃받침길이', '꽃받침폭']]
종속 = 아이리스[['품종_setosa', '품종_versicolor', '품종_virginica']]
print(독립.shape, 종속.shape)

• 범주형의 칼럼과 수치형의 칼럼 모두 섞였으므로 원핫인코딩

2. 모델의 구조 만들기

X = tf.keras.layers.Input(shape=[4])
Y = tf.keras.layers.Dense(3, activation='softmax')(X)
model = tf.keras.models.Model(X,Y)
model.compile(loss='categorical_crossentropy', metrics='accuracy')

• 분류이므로 활성화함수는 Softmax
• 정확도 지표 추가

3. 모델 학습하기

model.fit(독립, 종속, epochs=1000, verbose=0)
model.fit(독립, 종속, epochs=10)

4. 모델 이용하기

• 모든 데이터 대신 처음의 5개 데이터로 예측

• 실제 값 확인

6. 가중치

# 학습한 가중치 (weights & bias)
print(model.get_weights())

• 첫 칼럼부터 각각 꽃잎길이, 꽃잎폭, 꽃받침길이, 꽃받침폭과 곱해주는 가중치이며, bias인 1.9503545를 더해 softmax 함수를 거치면 확률이 나온다.

 

✅히든레이어

• 입력과 결과 사이에 퍼셉트론을 추가하는 히든레이어
• 텐서플로우는 히든레이어의 편리한 추가를 돕는다

X = tf.keras.layers.Input(shape=[13])
H = tf.keras.layers.Dense(10, activation='swish')(X) # 히든레이어
Y = tf.keras.layers.Dense(1)(H) # X 대신 히든레이어 H
model = tf.keras.models.Model(X, Y)
model.compile(loss='mse')

X = tf.keras.layers.Input(shape=[13])
H = tf.keras.layers.Dense(5, activation='swish')(X) # 5개 노드
H = tf.keras.layers.Dense(3, activation='swish')(H) # 3개 노드
H = tf.keras.layers.Dense(3, activation='swish')(H)
Y = tf.keras.layers.Dense(1)(H)
model = tf.keras.models.Model(X, Y)
model.compile(loss='mse')

 

✅히든레이어 실습1

# 라이브러리 사용
import tensorflow as tf
import pandas as pd
 
# 데이터 준비
파일경로 = 'https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/boston.csv'
보스턴 = pd.read_csv(파일경로)
 
# 종속변수와 독립변수의 분리
독립 = 보스턴[['crim', 'zn', 'indus', 'chas', 'nox', 
            'rm', 'age', 'dis', 'rad', 'tax',
            'ptratio', 'b', 'lstat']]
종속 = 보스턴[['medv']]
print(독립.shape, 종속.shape)

# 모델 구조 만들기
X = tf.keras.layers.Input(shape=[13])
H = tf.keras.layers.Dense(10, activation='swish')(X)
Y = tf.keras.layers.Dense(1)(H)
model = tf.keras.models.Model(X, Y)
model.compile(loss='mse')

# 모델 학습하기
model.fit(독립, 종속, epochs=100)

# 모델 이용하기
print(model.predict(독립[:5]))
print(종속[:5])

# 모델의 수식 확인
print(model.get_weights())

# 모델 구조 확인
model.summary()

• 13개의 입력을 받아 10개로 출력
• param은 가중치의 개수
  • 10개의 입력이므로 항이 10개고 bias 항이 1개로 총 11개 항
    • 11*1
  • 13개의 입력이므로 항이 13개고 bias 항이 1개로 총 14개 항
    • 14*10

 

✅히든레이어 실습2

# 라이브러리 사용
import tensorflow as tf
import pandas as pd
 
######################
# 데이터 준비
파일경로 = 'https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/iris.csv'
아이리스 = pd.read_csv(파일경로)
 
# 원핫인코딩
아이리스 = pd.get_dummies(아이리스)
 
# 종속변수와 독립변수의 분리
독립 = 아이리스[['꽃잎길이', '꽃잎폭', '꽃받침길이', '꽃받침폭']]
종속 = 아이리스[['품종_setosa', '품종_versicolor', '품종_virginica']]
print(독립.shape, 종속.shape)

######################
# 모델 구조 만들기
X = tf.keras.layers.Input(shape=[4])
H = tf.keras.layers.Dense(8, activation="swish")(X)
H = tf.keras.layers.Dense(8, activation="swish")(H)
H = tf.keras.layers.Dense(8, activation="swish")(H)
Y = tf.keras.layers.Dense(3, activation='softmax')(H)
model = tf.keras.models.Model(X, Y)
model.compile(loss='categorical_crossentropy',
              metrics='accuracy')
 
# 모델 구조 확인
model.summary()
 
######################
# 모델 학습(FIT)
model.fit(독립, 종속, epochs=100)
 
######################
# 모델 이용
print(model.predict(독립[:5]))
print(종속[:5])