다중 분류(multi-class classification) : 타깃 데이터에 2개 이상의 클래스가 포함된 문제
로지스틱 회귀(logistic regression) : 선형 방정식을 사용한 분류 알고리즘으로 선형 회귀와 달리 시그모이드 함수나 소프트맥스 함수를 사용하여 클래스 확률을 출력
시그모이드 함수/로지스틱 함수(sigmoid function/logistic regression) : 선형 방정식의 출력을 0과 1 사이의 값으로 압축하여 이진 분류를 위해 사용. 이진 분류일 경우 시그모이드 함수의 출력이 0.5보다 크면 양성 클래스, 0.5보다 작으면 음성 클래스로 판단
불리언 인덱싱(boolean indexing) : 넘파이 배열은 True, False 값을 전달하여 행을 선택할 수 있으며 이를 불리언 인덱싱이라고 함
소프트맥스 함수(softmax function) : 여러 개의 선형 방정식의 출력값을 0~1 사이로 압축하고 전체 합이 1이 되도록 만들며 이를 위해 지수 함수를 사용하기 때문에 정규화된 지수 함수라고도 함
데이터프레임(dataframe) : 판다스에서 제공하는 2차원 표 형식의 주요 데이터 구조
#데이터 준비하기
import pandas as pd
fish = pd.read_csv('https://bit.ly/fish_csv_data')
fish.head()
# Species 열애서 고유한 값 추출(unique() 함수 사용)
print(pd.unique(fish['Species']))
# 데이터프레임에서 입력 데이터로 사용할 열 선택
fish_input = fish[['Weight','Length','Diagonal','Height','Width']].to_numpy()
print(fish_input[:5])
데이터프레임에서 여러 열을 선택하면 새로운 데이터프레임이 반환됨. 이를 to_numpy() 메서드로 넘파이 배열로 바꾸어 fish_input에 저장.
# 타깃 데이터 만들기
fish_target = fish['Species'].to_numpy()
# 데이터를 훈련 세트와 테스트 세트로 나누기
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(
fish_input, fish_target, random_state=42)
# 표준화 전처리(훈련 세트의 통계 값으로 테스트 세트를 변환해야 함!)
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
ss.fit(train_input)
train_scaled = ss.transform(train_input)
test_scaled = ss.transform(test_input)
- k-최근접 이웃 분류기의 확률 예측
KNeighborsClassifier 클래스 객체 만들고 훈련 세트로 모델 훈련 후 점수 확인
4 번째 샘플의 최근접 이웃의 클래스를 확인해보면 앞서 출력한 것과 확률이 일치하는 것을 확인할 수 있음
최근접 이웃으로 가능한 확률이 제한적임
- 로지스틱 회귀
시그모이드 함수 그리기
import numpy as np
import matplotlib.pyplot as plt
z = np.arange(-5, 5, 0.1) # -5 ~ 5 사이에 0.1 간격으로 배열 z 생성
phi = 1 / (1 + np.exp(-z)) # 지수 함수 계산 np.exp() 함수 사용
plt.plot(z, phi)
plt.xlabel('z')
plt.ylabel('phi')
plt.show()
확률적 경사 하강법(stochastic gradient descent) : 훈련 세트에서 랜덤하게 하나의 샘플을 선택하여 손실 함수의 경사를 따라 최적의 모델을 찾는 알고리즘
에포크(epoch) : 확률적 경사 하강법에서 훈련 세트를 한 번 모두 사용하는 과정
미니배치 경사 하강법(minibatch gradient descent) : 1개가 아닌 여러 개의 샘플을 사용해 경사 하강법을 수행하는 방법으로 실전에서 많이 사용
배치 경사 하강법(batch gradient descent) : 한 번에 전체 샘플을 사용하는 방법, 컴퓨터 자원을 많이 사용
손실 함수(loss function) : 어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지를 측정하는 기준
로지스틱 손실 함수/이진 크로스엔트로피 손실 함수(logistic loss function) : 양성 클래스(타깃 = 1)일 때 손실은 -log(예측 확률)로 계산하며, 1 확률이 1에서 멀어질수록 손실은 아주 큰 양수가 됨. 음성 클래스(타깃 = 0)일 때 손실은 -log(1-예측 확률)로 계산함. 이 예측 확률이 0에서 멀어질수록 손실은 아주 큰 양수가 됨
크로스엔트로피 손실 함수(cross-entropy loss function) : 다중 분류에서 사용하는 손실 함수
힌지 손실(hinge loss) : 서포트 벡터 머신이라 불리는 또 다른 머신러닝 알고리즘을 위한 손실 함수로 널리 사용하는 머신러닝 알고리즘 중 하나. SGDClassifier가 여러 종류의 손실 함수를 loss 매개변수에 지정하여 다양한 머신러닝 알고리즘을 지원함
점진적 학습 -> 확률적 경사 하강법
SGDClassifer
import pandas as pd
fish = pd.read_csv('https://bit.ly/fish_csv_data')
# 모델 sc 추가 훈련 partial_fit() 메서드로
sc.partial_fit(train_scaled, train_target)
print(sc.score(train_scaled, train_target))
print(sc.score(test_scaled, test_target))
