Evaluating Regression Models

1. Average Error

• 실제값과 예측값의 차이를 평균내어 비교
• 부호 효과로 인해 부적절한 결론을 잘못 도출함

모든 샘플에서 $\pm 3$ 이상의 차이가 나지만 Average Error는 0.1로 작은 값을 나타냄

실전에서 사용 안함

 

2. Mean Absolute Error (MAE)

• 실제값과 예측값 간의 차이의 절대값을 평균내어 계산

 

3. Mean Absolute Percentage Error (MAPE)

• MAE는 예측된 y와 실제 y 사이의 절대적인 차이 정도만 제공할 수 있지만 둘 사이의 상대적인 차이는 제공할 수 없다.
• 아래와 같은 경우 MAE를 가지고는 두 경우를 적절하게 비교하기 어렵다.

• 절대적 차이보다 상대적 차이가 더 중요한 영역에서 일반적으로 채택됨(예: 제조 공정의 품질 관리)

4 & 5. (Root) Mean Squared Error ((R)MSE)

• MAE나 MAPE의 단점이 절대값을 사용하기 때문에 불연속 지점에서 미분 불가능하다는 단점이 있다. 그래서 평가 지표로 사용할 수는 있지만 loss function으로는 사용 불가능하다.
• 부호 효과를 해결하기 위해 절대값 대신 제곱을 사용

 

mse의 값이 너무 커질 우려가 있는 경우 rmse를 사용한다. rmse는 일반적으로 mae와 값이 비슷하다.

 

자료출처