스웨벤치 프로 (SWE-Bench Pro)
소프트웨어 엔지니어링 영역에서 인공지능 솔루션이 개발 도구 활용 및 버그 수정 등 실제 프로그래밍 작업을 얼마나 정확히 해결하는지 측정하는 벤치마크
용례
"앤트로픽의 자체 테스트 환경 조사 결과 페이블 5 모델은 스웨벤치 프로 테스트에서 최고 수준인 80.3%의 문제 해결 성공률을 달성했습니다."
소프트웨어 엔지니어링 영역에서 인공지능 솔루션이 개발 도구 활용 및 버그 수정 등 실제 프로그래밍 작업을 얼마나 정확히 해결하는지 측정하는 벤치마크
"앤트로픽의 자체 테스트 환경 조사 결과 페이블 5 모델은 스웨벤치 프로 테스트에서 최고 수준인 80.3%의 문제 해결 성공률을 달성했습니다."