Skip to main content

모아보기 보면 column명에 upscore라고 되어 있는 것으로 확인했습니다.

Upstage Studio

모아보기 보면 column명에 upscore라고 되어 있는 것으로 확인했습니다.
근데 이게 gold 기준으로 채점할 때, 밑의 레포 로직(upscore)으로 계산하는건가요?? 아니면 cell 단위로 채점하는건가요??
https://github.com/UpstageAI/UpScore

Posted by wooseoksong ·
Status: Completed1 comment

Log in to comment and vote

Comments1

  • Junghyeok(이중혁)

    Team•

    Jul 26

    안녕하세요, 문의 주셔서 감사합니다. 확인 결과 공유드립니다.

    모아보기의 upscore 컬럼은 UpScore 레포 로직(KIEVal) 기반으로 채점됩니다. 단순 cell 단위(칸별 값 비교) 방식은 아닙니다.

    구체적으로는:

    • 정답(Gold)과 추출 결과를 엔티티 단위로 매칭해 필드별 점수를 산출하고, 이를 문서·컬럼 단위로 종합한 값입니다. (표 형태 데이터는 행을 최적으로 정렬해 맞춘 뒤 채점됩니다.)

    • 참고로 같은 화면의 Precision / Recall / F1 컬럼이 cell 단위(TP/FP/FN) 채점이며, upscore와는 별개의 지표입니다.

    정리하면, upscore는 표준 추출 품질 지표(UpScore 로직)이고 P/R/F1은 셀 단위 정확도로, 두 채점 체계가 나란히 제공됩니다. 추가로 궁금하신 점 있으면 편하게 남겨주세요. 감사합니다!