최종 머신러닝 모형에서 variance를 줄이는 방법

How to Reduce Variance in a Final Machine Learning Model

by Jason Brownlee on August 13, 2018 in Machine Learning Process

(https://machinelearningmastery.com/how-to-reduce-model-variance/)

최종 모형은 예측에 있어서 variance에 의해 고통받는다.

실무 환경에서는 더욱 그러한 경우가 많다.

□ 포스트의 목적

  1) 최종으로 만들어진 모형 예측에서 variance 문제 이해

  2) 모형의 variance 측정 방법과 일반적으로 파라미터 추정시 var가 어떻게 다루어지는 방식 이해

  3) 최종 모형의 예측에서 var를 줄일 수 있는 기술

□ Final model : 머신러닝 프로젝트의 산출물

□ Bias and Variance

  - Bias : 학습할 수 있는 범위를 좁히는 가정

            현실과 가정이 다른 경우를 cost로 하여, 학습을 빠르고 안정적으로 만듬

  - Variance : 데이터 특성에 대한 학습의 민감도(sensitivity)

                  모형을 데이터에 특수화(specialized) 할 때 유용

                  random noise 또는 다른 데이터에서 교육받을 때 마다 달라지는 것을 cost로 함

□ The Problem of Variance in Final Models

□ Measure Variance in the Final Model

  - common sources of variance in a final model

    1) The noise in the training data

    2) 머신러닝 알고리즘에서 randomness의 이용

  - training data를 활용하여 두 타입의 var 측정 가능

    1) Measure Algorithm Variance : 알고리즘의 확률적 성격(stochastic nature)에 의해 유도된 var

                                               동일한 training set에서 평가를 반복하며 측정 가능

    2) Measure Training Data Variance : training data에 의해 유도된 var  

                                                   training set의 다른 샘플에 대한 평가를 반복하며 측정 가능

    → combined variance : k-fold CV

□ Reduce Variance of an Estimate

  - variance를 줄이고 싶다면, bias를 더해야 한다.

    random sample에서 평균을 추정하는 것과 같은 모집단의 모수를 추정하는 단순한 통계적 추정에 대해 생각해보자.

    평균에 대한 하나의 추정은 high variance and low bias를 가질 것이다.

    만약 우리가 이 과정을 30번 반복하고 추정된 평균값들의 표준편차를 계산한다면 우리는 large spread를 볼 수 있기 때문에 이는 직관적이다.

    분산을 줄이는 해결책 또한 직관적이다.

    CLT에 의거하여 많은 다른 샘플들에 대한 추정을 반복하고 추정치의 평균을 계산해보자.

    추정된 평균들의 평균은 lower variance를 가진다.

    추정된 값들의 평균이 단일 추정에 비해 더욱 정확할 것이라는 가정에 의해 bias를 증가시켰다.

    다른 접근은 대수의 법칙에 의거하여 모평균을 추정하고자 하는 data sample의 사이즈를 극적으로 키우는 것을 고려할 수 있다.

□ Reduce Variance of a Final Model

  - 위의 모수의 variance를 줄이는데 사용되는 원칙은 final model의 variance를 줄이고자 하는데 또한 사용될 수 있다.

    우리는 Bias를 추가해야한다.

□ Fragile Thinking

  - 단점을 제한하고 최고의 평균성과를 목표로하는 것이 더 안전하다.