이미지 객체 식별 성능 지표

(모델 성능 척도) 일반적으로 객체 식별 연구에서 성능을 확인하는 지표에는 모형이 검출한 정보들 중에서 참값(Ground truth)과 일치하는 비율에 대한 정확도의 척도를 나타내는 mAP(mean Average Precision)와 실제 참값인 Ground Truth Bounding Box와 예측된 Bounding box의 중첩된 면적을 합집합의 면적으로 나눈 값에 대한 식별률의 척도를 나타내는 IoU(Intersection over Union)를 도출하여 모델의 정확도를 평가한다.

• (IoU 평가척도) Bounding Box를 얼마나 잘 찾아내는지에 대한 식별률의 척도를 나타내는 값으로 실제 참값인 Ground Truth Bounding Box와 예측된 Bounding box의 중첩된 면적을 합집합의 면적으로 나눈 값에 대한 식별률의 척도

평가척도 IoU 계산방법

• (PR 곡선) PR 곡선에서 x축은 recall 값이고, y축은 precision 값으로 PR 곡선에서는 recall 값의 변화에 따른 precision 값을 확인할 수 있다. 하지만, 곡선은 알고리즘의 성능을 전반적으로 파악하기에는 좋지만 서로 다른 알고리즘의 성능을 정량적으로 비교하기에는 불편한 점이 있기 때문에 나온 개념이 AP(Average Precision) 개념이다.
• (AP, Average Precision) 알고리즘의 성능을 하나의 값으로 표현한 것으로써 PR 곡선에서 선 아래쪽의 면적으로 계산되며, 계산 전에 PR 곡선을 단조적으로 감소하는 그래프로 변경한 후 아래의 넓이를 구해 AP를 구하게 된다.
• (mAP, mean Average Precision) 물체 클래스가 여러 개인 경우에 각 클래스당 AP를 구하여 더하고 물체 클래스의 갯수로 나누어준 평균값으로 알고리즘의 성능을 평가하는 척도로 사용됨. Precision과 Recall을 이용하여 mAP(mean Average Precision)를 계산한다.

(YOLO 알고리즘) 2016년에 개발된 대표적인 One-Stage Detector로써 이미지 크기를 448x448로 조정한 뒤 26개의 layer를 거쳐 7x7의 Grid가 도출되고, 각 Grid는 Bounding box와 신뢰도 점수를 매기게 되며 최종적으로 Object별 1개의 Bounding box를 예측하는 방식임. 2020년에 YOLOv4, YOLOv5가 2021년에 YOLOX 까지 발표된 상태이다.

객체 식별 연구에서 YOLOv4와 YOLOv5 , 출처: "A review of object detection based on deep learning"

mAP 와 Average IoU 비교, 출처:  YOLO 알고리즘을 이용한 전차 국적 식별 및 평가(2021)

 

※ 인공 지능 분류와 평가 척도

인공지능 분류와 평가 척도 AI and evaluation metric