print(train_input.shape, test_input.shape) #배열의 크기를 튜플로 나타냄
-> (42, ) (14, )
#reshape() : 넘파이 배열이 제공하는 배열 크기를 바꿀 수 있는 메서드(원소 개수 다르면 오류)
train_input = train_input.reshape(-1, 1) #-1로 나머지 원소 개수로 모두 채울 수 있음
test_input = test_input.reshape(-1, 1)
print(train_input.shape, test_input.shape)
-> (42, 1) (14, 1) 곱하기
KNeighborsRegressor : 사이킷런에서 k-최근접 이웃 회귀 알고리즘을 구현한 클래스
from sklearn.neighbors import KNeighborsRegressor
knr = KNeighborsRegressor()
knr.fit(train_input, train_target) # k-최근접 이웃 회귀 모델 훈련
knr.score(test_input, test_target)
-> 0.992809406101064
사이킷런은 sklearn.metrics 패키지 아래 여러 가지 측정 도구를 제공함.
from sklearn.metrics import mean_absolute_error #타깃과 예측의 절댓값 오차를 평균하여 반환
test_prediction = knr.predict(test_input) # 테스트 세트에 대한 예측
mae = mean_absolute_error(test_target, test_prediction) # 테스트 세트에 대한 평균 절댓값 오차 계산
print(mae)
-> 19.157142857142862
print(knr.score(train_input, train_target))
-> 0.9698823289099254
테스트 세트를 사용한 점수가 더 높음 -> 과소적합(underfitting)
knr.n_neighbors = 3 # 이웃의 개수 3으로 설정
knr.fit(train_input, train_target) # 모델 다시 훈련
print(knr.score(train_input, train_target))
-> 0.9804899950518966
print(knr.score(test_input, test_target))
- > 0.9746459963987609
과소적합 해결
3-2. 선형 회귀
선형 회귀(linear regression) : 대표적인 회귀 알고리즘으로 특성이 하나인 경우 어떤 직선을 학습하는 알고리즘
가중치/계수 (weight/coefficient) : 선형 회귀가 학습한 직선의 기울기를 종종 가중치 또는 계수라고 함
다항 회귀(polynomial regression) : 다항식을 사용하여 특성과 타깃 사이의 관계를 나타낸 선형 회귀
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(
perch_length, perch_weight, random_state=42)
# 훈련 세트와 테스트 세트를 2차원 배열로 바꿈
train_input = train_input.reshape(-1, 1)
test_input = test_input.reshape(-1, 1)
from sklearn.neighbors import KNeighborsRegressor
knr = KNeighborsRegressor(n_neighbors=3)
knr.fit(train_input, train_target) # k-최근접 이웃 회귀 모델을 훈련
print(knr.predict([[50]]))
- > [1033.33333333]
k-최근접 이웃의 한계...!
import matplotlib.pyplot as plt
distances, indexes = knr.kneighbors([[50]]) # 50cm 농어의 이웃을 구하기
plt.scatter(train_input, train_target) # 훈련 세트의 산점도 그리기
plt.scatter(train_input[indexes], train_target[indexes], marker='D') # 훈련 세트 중에서 이웃 샘플만 다시 그리기
plt.scatter(50, 1033, marker='^') # 50cm 농어 데이터
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
k-최근접 이웃 알고리즘은 이 샘픔들의 무게를 평균함 -> 예측 잘 안됨
#같은 값이 나타남
print(np.mean(train_target[indexes]))
print(knr.predict([[100]]))
distances, indexes = knr.kneighbors([[100]]) # 100cm 농어의 이웃 구하기
plt.scatter(train_input, train_target) # 훈련 세트의 산점도를 그리기
plt.scatter(train_input[indexes], train_target[indexes], marker='D') # 훈련 세트 중에서 이웃 샘플만 다시 그립니다
plt.scatter(100, 1033, marker='^') # 100cm 농어 데이터
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
선형회귀로 해결
#사이킷런은 sklearn.linear_model 패키지 아래에 LinearRegression 클래스로 선형 회귀 알고리즘 구현
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(train_input, train_target) # 선형 회귀 모델 훈련
print(lr.predict([[50]])) # 50cm 농어에 대한 예측
[1241.83860323]
#LinearRegression 클래스가 찾은 a, b는 lr 객체의 coef_ 와 intercept_ 속성에 저장되어 있음
print(lr.coef_, lr.intercept_)
[39.01714496] -709.0186449535477
coef_ / intercept_ : 머신러닝 알고리즘이 찾은 값이라는 의미로 모델 파라미터라고 부름
모델 기반 학습 : 머신러닝 알고리즘의 훈련 과정이 최적의 모델 파라미터를 찾는 것인 경우
#sklearn.preprocessing 패키지에 포함되어 있는 변환기 PolynomialFeatures 클래스
from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(include_bias=False) #절편 특성으로 추가 안되도록
poly.fit(train_input) #훈련
train_poly = poly.transform(train_input) #변환
print(train_poly.shape)
(42, 9)
poly.get_feature_names_out() #9개의 특성이 각각 어떤 입력의 조합으로 만들어졌는지 알려줌
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(train_poly, train_target)
print(lr.score(train_poly, train_target))
0.9903183436982125
print(lr.score(test_poly, test_target))
0.9714559911594111
5제곱까지 특성을 만들어 호출
poly = PolynomialFeatures(degree=5, include_bias=False) #degree 매개변수 : 필요한 고차항의 최대 차수 지정 가능
poly.fit(train_input)
train_poly = poly.transform(train_input)
test_poly = poly.transform(test_input)
#사이킷런에서 제공하는 StandardScaler 클래스
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
ss.fit(train_poly)
train_scaled = ss.transform(train_poly)
test_scaled = ss.transform(test_poly)
alpha 값이 작으면 계수를 줄이는 역할이 줄어들고 선형 회귀 모델과 유사해지므로 과대적합될 가능성이 큼
적절한 alpha 값 찾는 방법 - alpha 값에 대한 R^2 값의 그래프 그려보기
훈련 세트와 테스트 세트의 점수가 가장 가까운 지점이 최적의 alpha 값
import matplotlib.pyplot as plt
train_score = []
test_score = []
alpha_list = [0.001, 0.01, 0.1, 1, 10, 100]
for alpha in alpha_list:
# 릿지 모델 만들기
ridge = Ridge(alpha=alpha)
# 릿지 모델 훈련
ridge.fit(train_scaled, train_target)
# 훈련 점수와 테스트 점수 저장
train_score.append(ridge.score(train_scaled, train_target))
test_score.append(ridge.score(test_scaled, test_target))
train_score = []
test_score = []
alpha_list = [0.001, 0.01, 0.1, 1, 10, 100]
for alpha in alpha_list:
# 라쏘 모델 만들기
lasso = Lasso(alpha=alpha, max_iter=10000)
# 라쏘 모델 훈련
lasso.fit(train_scaled, train_target)
# 훈련 점수와 테스트 점수 저장
train_score.append(lasso.score(train_scaled, train_target))
test_score.append(lasso.score(test_scaled, test_target))
