AICE 작은 예제 및 참고용 코드
1. 전처리
- train, validation 함께 전처리 => 전처리(ex> 정규화 기준 동일하게)
2. 그래프
- ax = sns.countplot(x=df_total['level1_pnu'], palette = "RdBu")
- sns.distplot(df_total['signaltype'])
- sns.boxplot(x = df_total['level1_pnu'], y = df_total['A_DISTANCE'], data = df_total, palette = "RdBu")
- sns.heatmap(np.random.rand(10, 12)) => 상관관계 분석 등에서 한 눈에 바로 확인할 수 있는 차트
- sns.pairplot(df_total) => 데이터 프레임의 수치형 변수를 기준으로 밀도와 분포를 한 눈에 확인할 수 있는 차트
3. 상관관계 분석
# 필요한 라이브러리 가져오기
# 그냥 무조건 가져온다고 생각하자 : pandas, numpy, seaborn, matplotlib.pyplot
# seaborn 설치가 되어 있지 않으면 라이브러리는 설치 필요 : !pip install seaborn
!pip install seaborn
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
# Seaborn에서 제공하는 데이터셋 확인하기
sns.get_dataset_names()
# 많이 사용하는 데이터는 'iris' , 'tips' , 'titanic'
# 그중에서 iris 데이터셋 가져오기
# seaborn load_dataset('iris') 함수 활용 : 결과 iris 저장
iris = sns.load_dataset('iris')
# 가져온 iris 데이터 앞 5개 확인 하기
# 자동으로 판다스 데이터프레임 형식으로 읽어짐
iris.head()
# 간단하게 시각화해 보기
# 여러분은 잘 모르지만, 나중에 이렇게 시각화를 할수 있구나 알기
# value_counts 함수 이용해서 species 컬럼에 대한 분포 확인
iris['species'].value_counts()
# value_counts 함수 이용해서 species 컬럼에 대한 분포 확인값을 bar 차트 그리기
iris['species'].value_counts().plot(kind='bar')
# 판다스 plot 함수 활용해 산점도(scatter) 그래프 시각화해 보기
# 입력 : kind='scatter', x='sepal_length', y='petal_length'
iris.plot(kind='scatter', x='sepal_length', y='petal_length')
# 이번에는 seaborn scatterplot 함수 활용해서 산점도 그리기
# 입력 : data=iris, x='sepal_length', y='petal_length', hue='species'
# 위와 똑같은 그래프지만, 붓꽃 종류로 분류해서 그래프
# 붓꽃 종류 3가지가 구분되어 보입니다.
sns.scatterplot(data=iris, x='sepal_length', y='petal_length', hue='species')
# IRIS 데이터 뒤 5개 보기
iris.tail()
# X 분리 : 판다스 drop 함수 활용
# 입력 : 'species', axis=1
X = iris.drop('species', axis=1)
# 분리된 X 확인 : 데이터 타입이 데이터프레임 확인
X
# y 분리 : 'species' 컬럼값만 분리
y = iris['species']
# 분리된 y 확인 : 데이터 타입이 Series 확인
# y 값이 문자열로 되어 있음 확인
y
# Series, DataFrame 형태를 numpy array 변경하기
# 뒤쪽에서 타입이 맞지 않아서 에러 날수 있기 때문에
# X.values , y.values --> X , y 입력
X = X.values
y = y.values
print(X[:2])
print(y[:2])
# y값이 숫자가 아니기에 컴퓨터가 잘 이해하지 못해 숫자로 변환
# setosa --> 0, versicolor --> 1, virginica --> 2 : LabelEncoding
from sklearn.preprocessing import LabelEncoder
# 1. LabelEncoder 함수 정의 : le
# 2. y값에 대해 fit_transform 함수 이용해서 라벨인코딩 수행하고 다시 y에 저장
# 3. le.classes_ 출력해서 어떤 라벨들이 인코딩 되었는지 확인
le = LabelEncoder()
y = le.fit_transform(y)
print(le.classes_)
# y값들이 라벨인코딩되어 숫자로 표현됨 확인
y[:10]
# Train / Test 데이터셋 나누어주는 함수 : train_test_split
from sklearn.model_selection import train_test_split
# train_test_split 함수 활용
# 입력 : X, y
# Train : Test => 8 : 2 비율로 나누기 : test_size=0.2
# Train 데이터와 Test 데이터에 y가 쏠리지 않도록 하기 : stratify=y
# 매번 같은 결과 나오도록 값 고정 : random_state=42
# 결과 저장 : X_train, X_test, y_train, y_test
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2 , stratify=y, random_state=42)
# Train 과 Test 데이터셋 사이즈 확인
# X_train.shape, X_test.shape, y_train.shape, y_test.shape 확인
X_train.shape, X_test.shape, y_train.shape, y_test.shape
# DecisionTree 머신러닝 모델링
from sklearn.tree import DecisionTreeClassifier
# 1. DecisionTreeClassifier 모델 정의 -> dt 저장
# 2. dt 모델 학습 : X_train, y_train
# 3. dt 모델 성능확인 : X_test, y_test
dt = DecisionTreeClassifier()
dt.fit(X_train, y_train)
dt.score(X_test, y_test)
# RandomForest 머신러닝 모델링
from sklearn.ensemble import RandomForestClassifier
# 1. RandomForestClassifier 모델 정의 -> rf 저장
# 2. rf 모델 학습 : X_train, y_train
# 3. rf 모델 성능확인 : X_test, y_test
rf = RandomForestClassifier()
rf.fit(X_train, y_train)
rf.score(X_test, y_test)
# X_test 첫라인 샘플 데이터 와 정답 출력
# setosa --> 0, versicolor --> 1, virginica --> 2
print(X_test[0:1])
print(y_test[0:1])
# X_test 첫라인 샘플 데이터을 모델 입력해서 예측하기
# rf 모델의 predict 함수 활용
# 입력 : X_test[0:1], 결과 : pred 저장
# pred 결과 출력
pred = rf.predict(X_test[0:1])
print(pred)
# 딥러닝 필요한 라이브러리 가져오기
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
# Sequential 모델 만들기 --> model 변수 저장
# input layer : (4, )
# hidden layer : 6 unit , activation='relu'
# output layer : 3 unit , activation
model = Sequential()
model.add(Dense(6, activation='relu', input_shape=(4,)))
model.add(Dense(3, activation='softmax'))
# 모델 컴파일 : compile
# loss='sparse_categorical_crossentropy'
# optimizer='adam'
# metrics=['accuracy']
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
# 모델 학습 : fit
# X_train, y_train, epochs=10, batch_size=8
# 학습결과 저장 : history
history = model.fit(X_train, y_train, epochs=10, batch_size=8)
# epochs 횟수 증가하여 모델 학습 : fit
# X_train, y_train, epochs=50, batch_size=8 --> epochs 50으로 변경
# 학습결과 저장 : history
history = model.fit(X_train, y_train, epochs=50, batch_size=8)
# epochs 횟수 증가하여 모델 학습 : fit
# X_train, y_train, epochs=50, batch_size=8 , validation_data=(X_test, y_test)
# 학습결과 저장 : history
history = model.fit(X_train, y_train, epochs=50, batch_size=8, validation_data=(X_test, y_test))
# 모델 학습 정보
history.history
# matplotlib 이용하여 그래프 그리기
# 1. plot 그리기 : 입력 history.history['loss'] , history.history['val_loss']
# 2. plot 그리기 : 입력 history.history['accuracy'] , history.history['val_accuracy']
# 3. title : 'Loss and Accuracy'
# 4. xlabel : "Epochs"
# 5. ylabel : "Loss"
# 6. legend : ["Loss", "Accuracy"]
# 7. plt.show()
plt.plot(history.history['loss'])
plt.plot(history.history['accuracy'])
plt.plot(history.history['val_loss'])
plt.plot(history.history['val_accuracy'])
plt.title('Loss and Accuracy')
plt.xlabel("Epochs")
plt.ylabel("Loss")
plt.legend(["Loss", "Accuracy", "Val_loss", "Val_Accuracy"])
plt.show()
[실습-정답] Python 활용한 AI 모델링 - 전처리 파트
[문제] df 데이터프레임에서 'customerID' 컬럼 삭제 하세요.
# DataFrame drop 함수
# 'customerID' 컬럼 삭제
# axis=1 옵션 사용해서 컬럼단위 삭제 수행
# inplace=True 옵션 사용하여 df DataFrame에 저장
df.drop('customerID', axis=1, inplace=True)
컬럼 내용 변경하기
범주형 문자 데이터를 숫자 변환하는것은 성능에 많은 영향을 미치므로 꼭 변환하로록 하자.
null, _ 문제있는 문자 데이터를 모델링하기 전에 미리 다른 데이터로 변경하거나 필요없을 경우 삭제하도록 하자.
# Boolean indexing으로 검색
cond = (df['TotalCharges'] == '') | (df['TotalCharges'] == ' ')
df[cond]