파이썬으로 퍼셉트론 학습 알고리즘 구현

2.2.1 객체 지향 퍼셉트론 API

import numpy as np

class Perceptron(object):
    """퍼셉트론 분류기

    매개변수
    ------------
    eta : float
      학습률 (0.0과 1.0 사이)
    n_iter : int
      훈련 데이터셋 반복 횟수
    random_state : int
      가중치 무작위 초기화를 위한 난수 생성기 시드

    속성
    -----------
    w_ : 1d-array
      학습된 가중치
    errors_ : list
      에포크마다 누적된 분류 오류

    """
    def __init__(self, eta=0.01, n_iter=50, random_state=1):
        self.eta = eta
        self.n_iter = n_iter
        self.random_state = random_state

    def fit(self, X, y):
        """훈련 데이터 학습

        매개변수
        ----------
        X : array-like, shape = [n_samples, n_features]
          n_samples개의 샘플과 n_features개의 특성으로 이루어진 훈련 데이터
        y : array-like, shape = [n_samples]
          타깃값

        반환값
        -------
        self : object

        """
        rgen = np.random.RandomState(self.random_state)
        self.w_ = rgen.normal(loc=0.0, scale=0.01, size=1 + X.shape[1]) # 표준편차가 0.01인 정규분포에서 뽑은 랜덤한 작은 수 ,가중치를 m+1 차원으로 초기화 , m : 데이터셋에 있는 features 개수
        self.errors_ = []

        for _ in range(self.n_iter):
            errors = 0
            for xi, target in zip(X, y):
                update = self.eta * (target - self.predict(xi)) # 가중치 업데이트 과정
                self.w_[1:] += update * xi
                self.w_[0] += update # self.w_[0] : 절편
                errors += int(update != 0.0)  # epoch마다 잘못 분류된 회수 기록, update = 0이라는 것은 예측이 정확하다는 뜻, 0이 아닌 경우 errors + 1
            self.errors_.append(errors)
        return self

    def net_input(self, X):
        """입력 계산"""
        return np.dot(X, self.w_[1:]) + self.w_[0]

    def predict(self, X):
        """단위 계단 함수를 사용하여 클래스 레이블을 반환합니다"""
        return np.where(self.net_input(X) >= 0.0, 1, -1)

2.2.2 붓꽃 데이터셋에서 퍼셉트론 훈련

import os
import pandas as pd

s = '<https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data>'
print('URL:', s)

df = pd.read_csv(s, header=None, encoding='utf-8')
df.tail()

import matplotlib.pyplot as plt
import numpy as np

# setosa 와 versicolor 선택
y = df.iloc[0:100,4].values # 50개의 Iris-setosa, 50개의 Iris-versicolor 총 100개의 크래스 레이블 추출
y = np.where(y == 'Iris-setosa', -1, 1) # 정수 변환

# 꽃받침 길이와 꽃잎 길이 추출
X = df.iloc[0:100, [0,2]].values

# 산점도
plt.scatter(X[:50,0], X[:50,1],
            color = 'red', marker = 'o', label = 'setosa')
plt.scatter(X[50:100,0], X[50:100,1],
            color = 'blue', marker = 'x', label = 'versicolor')
plt.xlabel('sepal length[cm]')
plt.ylabel('petal length[cm]')
plt.legend(loc = 'upper left')
plt.show()

# 선형 결정 경계로 setosa와 versicolor 꽃을 구분하기 충분함

ppn = Perceptron(eta = 0.1, n_iter = 10)
ppn.fit(X,y)
plt.plot(range(1, len(ppn.errors_)+1),
         ppn.errors_, marker = 'o')
plt.xlabel('Epochs')
plt.ylabel('Number of updates')
plt.show()
# epoch대비 잘못 분류된 오차 그래프
# 퍼셉트론은 6번째 epoch 이후 수렴, 훈련 샘플을 완벽하게 분류함.

from matplotlib.colors import ListedColormap

# 2차원 데이터셋의 결정 경계 시각화
def plot_decision_regions(X, y, classifier, resolution = 0.02): # resolution : 해상도 매개변수
  # marker, colormap 설정
  markers = ('s','x','o','^','v')
  colors = ('red', 'blue', ' ligtgreen', 'gray', 'cyan')
  cmap = ListedColormap(colors[:len(np.unique(y))])

  # 결정 경계
  x1_min, x1_max = X[:,0].min()-1, X[:,0].max() + 1
  x2_min, x2_max = X[:,1].min()-1, X[:,1].max() + 1
  xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution), np.arange(x2_min, x2_max, resolution))
  # grid배열 xx1, xx2 쌍을 만듬
  # arange : 주어진 범위 내에서 일정한 간격으로 값을 생성하는 함수

  Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T) # ravel 1차원->펼치기
  Z = Z.reshape(xx1.shape) # 훈련데이터와 같은 개수의 열이 되도록
  plt.contourf(xx1, xx2, Z, alpha = 0.3, cmap = cmap)
  plt.xlim(xx1.min(), xx1.max())
  plt.ylim(xx2.min(), xx2.max())

  # 샘플의 산점도
  for idx, cl in enumerate(np.unique(y)):
    plt.scatter(x = X[y == cl, 0],
                y = X[y == cl, 1],
                alpha = 0.8,
                c = colors[idx],
                marker = markers[idx],
                label = cl,
                edgecolor = 'black')

 

plot_decision_regions(X, y, classifier = ppn) # epoch?
plt.xlabel('sepal length [cm]')
plt.ylabel('petal length [cm]')
plt.legend(loc = 'upper left')
plt.show()

# 퍼셉트론이 만든 붓꽃 데이터셋의 결정 경계