Evaluation 종류 (추가예정)

kaggle을 하면서 다양한 evaluation 종류를 정리해보았다.

 

1. macro F1 score

 

 

- macro-average F1 score = macro F1 score이라고 줄여서 부른다.

- multi-classification Imbalanced Multi-class Classification의 경우 사용된다. 

- 즉 macro f1 score은 classification에서 각 class가 평균적으로 잘 분류하는지 확인할때 사용한다.  

 

 

cf. micro average f1 score 

classification에서의 각 class의 사이즈가 다를때, 사용한다.

 

(출처)

https://www.kaggle.com/c/liverpool-ion-switching/overview/evaluation

https://operatingsystems.tistory.com/entry/Data-Mining-Macro-average-and-micro-average

 

 

 

2. Intersection over Union (IoU)

 

 

- IoU 임계점에 대해 서로 다른 교차점에서 평균 정밀도로 평가 

- object detection에서 사용되는 도구! => obejct detection에서 localizataion 문제를 훈련시키는 알고리즘과 결합될 수 있음 

- IoU =  교집합 영역 넓이(Area of Overlap) / 합집합 영역 넓이(Area of Union) 

 

- thredhold값을 보통 0.5로 설정해놓고 있음! 

1.  두 박스가 2/3은 겹쳐야 한다는 뜻이다. 

2.  두 박스 안에 겹친 비율이 50%를 넘겼을 때, 박스를 매칭한 후 신뢰도를 평가하기 때문이다. 

(출처)

https://www.kaggle.com/c/global-wheat-detection/overview/evaluation