분류 성능 평가 지표 : F1 Score, F-Beta Score, Macro-F1 정리

1. F1 score

이미지 출처 : https://en.wikipedia.org/wiki/F-score

1. 분류 성능 평가 지표 중 F1 Score는 Precision과 Recall의 조화평균을 의미한다.
2. F1 Score는 0.0~ 1.0 사이의 값을 가지고, 1에 가까울수록 좋은 모델이다.
3. 정밀도와 재현율을 균형 있게 반영하기 위해 산술평균이 아닌 조화평균을 사용한다.
4. 데이터 분류 클래스가 불균형할 때 모델의 성능을 정확하게 평가할 수 있다.
5. F-Beta Score 관점에서 보면 Beta가 1인 경우가 F1 Score에 해당한다.

2. F-Beta Score

이미지 출처 : https://en.wikipedia.org/wiki/F-score

1. F1 기반 평가산식 중 하나로 Beta를 매개변수로 사용해 Precision과 Recall 사이의 균형에 가중치를 부여하는 방법이다.
2. Recall에 더 비중을 두려는 경우 F-Beta Score의 Beta 값을 1보다 큰 값으로 지정하면 된다.
3. Beta 값이 1.0보다 크면 Recall에 비중을 두고 계산하고
4. Beta 값이 1.0보다 작으면 Precision에 비중을 두고 계산하게 된다.
5. 만약 Recall 값과 Precision 값이 정확이 같다면 Beta에 관계없이 같은 결과가 나온다.

3. Macro-F1 Score

1. 둘 이상의 클래스가 있는 데이터 세트의 전체 F1 점수를 계산하기 위한 집계 방식 중 하나이다.
2. 클래스 별로 계산된 F1 점수의 비가중 평균으로, F1 점수에 대한 가장 간단한 집계이다.
3. Macro-F1 Score 역시 0.0과 1.0 사이의 값을 가지며 1에 가까울수록 좋다.
4. Macro-F1은 모든 클래스의 값에 동등한 중요성을 부여한다.
5. 클래스의 빈도에 관계없이 모든 클래스가 동등하게 기여하므로 불균형 데이터 세트에 대한 객관적인 결과를 반환할 수 있다.
6. Macro-F1 Score와 반대로 클래스 빈도에 따라 가중치를 부여하는 Micro-F1 Score 방식도 있다. 그러나 이 방식은 데이터의 불균형을 더욱 증폭 시킨다는 단점이 있다

 

 

 

참고 자료

https://en.wikipedia.org/wiki/F-score
https://sumniya.tistory.com/26
https://stephenallwright.com/micro-vs-macro-f1-score/
https://blog.naver.com/wideeyed/221531998840