작업자 수가 줄어도 정확도와 속도를 유지한 AIMMO의 노하우는?
안녕하세요, AI Data 전문기업 에이모의 콘텐츠 매니저 유스티나입니다.
라벨링 프로젝트에서 무엇보다 고민되는 건 바로 인건비입니다. AI 모델 개발에 투입될 연구원들의 인건비만 해도 어마어마한데, 라벨링에 투입되는 작업자의 인건비는 월등히 높다죠. 작업자들은 라벨링 경험치나 프로젝트 가이드 숙지 정도 등에 따라 개인별 퍼포먼스에 많은 차이가 생깁니다. 결국 검수 횟수를 늘려 오답을 줄여나가게 되는데요, 이로 인해 인건비가 더 늘어나게 됩니다.
위 상황은 AI 데이터 전문 기업 AIMMO에서도 다양한 라벨링 프로젝트를 진행하며 자주 겪은 문제 중 하나였습니다. ‘작업자의 퍼포먼스 오차를 줄이고, 검수량도 줄일 수 있는 방법은 없을까’에 대한 해답을 찾아나갔습니다. 오랜 고민 끝에 해결책을 찾았고, 이를 기능화하여 매우 유용하게 사용했습니다.
기능 사용 후 놀라웠던 점은, 프로젝트 진행 중에 작업자를 늘리는 것이 아니라 더 줄여나가게 되었다는 점이었죠. 그렇게 긴 기간 동안 여러 고민과 시행착오를 바탕으로 테스트를 거친 후, 최근 AIMMO Enterprise에도 탑재하게 되었습니다.
유효성 설정
라벨링 프로젝트는 프로젝트별 각각 다른 가이드를 갖고 있습니다. 하지만 대다수의 프로젝트에서는 공통된 조건을 가이드로 세우는 경우가 많았는데요, 바로 인스턴스의 개수, 크기와 점 개수의 조건이었습니다.
AIMMO Enterprise에서 제공하는 ‘유효성 설정’ 기능은 이 두 조건을 프로젝트 시작 전 프로젝트의 기본 조건으로 설정할 수 있는 기능입니다. 유효성 설정값이 설정되어 있다면, 조건에 부합하지 않는 인스턴스는 자동으로 오답으로 안내하고 작업자가 이를 바로 인지 후 수정할 수 있습니다.
예를 들어 프로젝트의 Bounding Box 크기의 최소 길이를 가로 20px, 세로 20px로 설정했습니다. 만약 작업자가 스튜디오(AIMMO의 라벨링 툴)에서 20px 미만 길이의 Bounding Box 인스턴스를 그렸다면 작업 완료 처리가 되지 않습니다. 크기 조건이 틀렸다는 것을 인지한 작업자는 해당 오답 인스턴스를 삭제한 후 제출하게 됩니다.
범용적으로 가장 많이 쓰이는 조건을 미리 설정하기 때문에, 이 조건에서 생기는 오답을 검출하기 위해 소모했던 검수 인력이 대폭 감소했습니다. 대신 원래 검수를 담당하던 인력은 더 정교하고 복잡한 라벨링 데이터를 확인하는 데에 더 많은 시간을 사용할 수 있게 되었습니다. 효율적으로 인력을 운용할 수 있게 된 셈이죠.
작업자 별 통계
‘작업자 별 통계’는 프로젝트에 투입된 작업자들의 라벨링 속도와 정확도 데이터를 제공하는 기능입니다. 프로젝트 매니저는 작업자들의 속도와 정확도를 모니터링하고, 작업물 안배와 작업 일정을 산정할 수 있습니다. 또한 이 지표로 프로젝트를 잘 수행하는 작업자인지 판단할 수 있습니다.
‘속도’ 정보에서는 각 작업자 별로 파일과 인스턴스 당 평균 작업 시간을 확인할 수 있습니다. 이 정보를 바탕으로 작업 속도가 우수한 작업자를 추려낼 수 있고, 반대로 작업 시간이 지나치게 짧은 경우 어뷰징으로 의심되어 좀 더 면밀하게 관찰할 수 있는 기초 정보가 될 수 있습니다.
‘정확도’ 정보에서는 검수율/검수 파일 수로 작업자가 제출한 파일이 얼마나 잘 통과되고 있는지 확인할 수 있습니다. 또한 작업자의 인스턴스가 얼마큼 수정되었고 누락이 되었는지 등의 정보를 수치로 제공합니다. 이 정보를 바탕으로 어떤 작업자가 검수 리소스가 적게 들고 정답 데이터를 잘 만들어내는지 파악할 수 있습니다.
AIMMO Enterprise에서 제공하는 작업자 별 통계의 데이터는 퍼포먼스가 우수한 작업자를 추릴 수 있습니다. 추려진 작업자들을 중심으로 리소스를 집중 투입시켜 프로젝트를 진행한 결과, 결과적으로 작업자 수는 줄었지만 라벨링과 검수 시간이 더 줄어들고 정확도가 월등히 올라가 높은 효율성을 유지할 수 있었습니다.
이번 포스팅에서는 AIMMO에서 작업자 수를 줄여도 정확도와 속도를 유지한 노하우를 소개해 드렸어요. AIMMO의 프로젝트 매니저들이 유용하게 썼던 기능인만큼, 누구나 라벨링 프로젝트 진행에 매우 유용하게 쓸 수 있는 기능이라 확신합니다. 이 모든 기능은 오는 2023년 6월까지 4개월간 누구나 무료로 사용이 가능하니 지금 바로 AIMMO Enterprise에 가입하세요!
에이모 뉴스레터를 구독하시면 최신 콘텐츠를 더 쉽고 빠르게 받아보시고 싶으실 수 있습니다. 🙂 다음 포스팅에서 뵙겠습니다!
Written by 백성민(Justina)
Edited by 임아영 (Karina)
