2019 9-10월호 5점 만점 별점 시스템의 문제와 해결책 조시 브라인링거(Josh Breinlinger)
줄리언 라이트(Julian Wright)
안드레이 하지우(Andrei hagiu)

Customers

5점 만점 별점 시스템의 문제와 해결책

조시 브라인링거, 안드레이 하지우, 줄리언 라이트

 

 

품과 서비스를 거래하는 온라인 시장의 가치와 영향력은 점점 커지고 있다. 그러나 그 평가 시스템은 놀랄 만큼 단순한 경우가 많다. 가장 일반적인 것은 5점 만점의 별점 체계다.

 

필자들은 10년 이상 마켓플레이스 기업에 대해 투자 혹은 자문활동을 하면서 단순 5점 별점 시스템의 한계를 알게 됐다. 매우 품질이 낮은 상품이나 공급자를 파악하여 걸러내기엔 충분하지만 좋은 상품 및 공급자 중 더욱 훌륭한 것을 선별하는 데 거의 효과가 없었던 것이다. 우버나 리프트 같은 소비재 상품·서비스를 거래할 때는 별 문제가 아니겠지만, 진짜 훌륭한 공급자가 확실히 차별화돼야 할 시장에서는 심각한 문제가 된다. 예를 들어 프리랜서 디자이너나 소프트웨어 개발자 등을 찾아주는 99designs, 파이버Fiverr, 업워크 같은 서비스가 그렇다.(참고: 필자들 중 조시는 업워크와 옐프의 주식을 보유하고 있다.)

 

현재 사용되는 별점 시스템에는 몇 가지 허점이 있다. 고객들이 진심이 담긴 피드백을 제공하게 하는 유인책이 없으며, 매우 나쁘거나 매우 좋은 극단적인 경험을 한 고객이 평균적인 경험을 한 경우보다 피드백을 남길 확률이 훨씬 높기 때문에 표본 자체가 편향돼 있다. 또한 별점은 상향 평준화되기 쉬워서, 별점이 평균 4.8이거나 긍정적인 피드백이 96%라도 해당 공급자가 특출나게 좋지는 않은 경우가 많다. 어떤 시장에서는 4.5점과 4.8점의 실제 수준 차이가 매우 커서 고객들이 별점만 보고는 그저 그런 공급자와 매우 좋은 공급자를 구별하기 어렵다.

 

고객들이 공급자의 상대적인 순위를 알 수 있도록 하는 법은 여러 가지다. 먼저, 해당 카테고리의 모든 공급자 평점의 평균과 비교해 보여주는 간단한 방식이 있다. 예를 들어 아마존의 장난감 평점 평균, 옐프에서의 샌프란시스코 레스토랑 평점 평균, 태스크래빗에서 이사업체 평점 평균, 엑스피디아의 버짓호텔 평점 평균을 비교해서 보여주는 것이다. 나아가 카테고리 내 점수 분포도를 간단하게 보여주고 해당 분포 내에서 현재 공급자의 위치를 표시할 수 있다. 고객은 전체 점수 분포와 해당 공급자의 위치를 확인해 전반적인 상황을 바로 이해할 수 있을 것이다.

 

최상위 집단에 속하는 공급자에 대해서는 나머지 공급자와 차별화되는 별도의 표시를 할 수도 있다.(상위 10% 공급자입니다.”) 이베이와 에어비앤비가 각각톱 셀러슈퍼호스트를 지정하는 것 역시 최상위 공급자에게 일종의 훈장을 주는 방식이다.

 

두 번째로, 평가 경향의 차이에 따라 고객평점을 조정하는 방법이 있다. 늘 같거나 비슷한 점수를 주는 고객보다 평가점수에 편차를 크게 두는 고객의 평점을 더 큰 비중으로 처리하는 것이다. 더 나아가 특정 고객의 과거 평점을 기준으로 점수를 조정하여 해당 고객이 부여한 평점의 상대적인 차이만을 공급자 순위에 반영할 수도 있다. 원래부터 점수가 후한 고객과 까다로운 고객의 평점 차이를 조정할 수 있는 방식이다.

 

리프트와 우버의 사례가 고객 간 평점 차이와 관련된 문제를 보여 준다. 리프트와 달리, 우버의 운전자는 탑승자가 과거에 운전자들에게 매긴 평점들을 확인할 수 있다. 따라서 과거에 다른 운전자에게 낮은 점수를 많이 준 탑승자의 경우 자신에게도 평점을 낮게 줄 확률이 높다고 보기 때문에 운전자가 그런 사람의 탑승 요청을 거부하는 경향이 있다. 우버가 지속적으로 낮은 점수를 주는 고객이 있다는 점을 감안하여 탑승자 평점을 조정하고, 운전자가 이런 고객을 태워도 평점상 불이익을 받지 않도록 처리한다면 이런 문제는 피할 수 있다. 낮은 평점을 주는 고객도 태우려 할 가능성이 높아질 것이다.

 

공급자의 순위를 매길 때 비공개 정보(공급자에게 리뷰와 코멘트가 노출되지 않음)와 상대 비교(고객의 이전 공급자와 평가 대상 공급자를 비교함)를 사용하는 것도 평가 시스템을 개선할 수 있는 방법이다. 또한 고객에게 향후 더 적절한 공급자를 매칭하기 위한 설문을 실시할 수 있다. 예를 들어이 공급자의 가장 좋았던 점(나빴던 점)은 무엇입니까?” 라고 묻는 것이다.

 

평점 시스템만으로는 온라인 상거래의 신뢰와 안전을 보장할 수 없다. 이를 보완하는 손해보상 보험이나 기타 품질보장 시스템이 필요한 경우가 많다. 그러나 여기서 살펴본 방식들을 도입하면 평점 시스템의 신뢰도를 높일 수 있을 것이고, 보험을 비롯한 보완 서비스의 필요성과 그에 들어가는 비용이 크게 줄어들 것이다.

 

번역 석혜미 에디팅 조진서

 

 

조시 브라인링거(Josh Breinlinger)는 초기 스타트업에 투자하는 벤처캐피털 잭슨스퀘어벤처스의 매니징디렉터다. 오데스크와 레브의 창업멤버였다.

안드레이 하지우(Andrei Hagiu)는 보스턴대 퀘스트롬경영대학원의 정보시스템 부교수다.

트위터 @theplatformguy

줄리언 라이트(Julian Wright)는 싱가포르국립대 경제학 교수다.

페이스북 트위터

2019 9-10월호 다른 아티클 보기

목록보기

무료 열람 가능 아티클 수 0/1 회원가입 | 서비스상품안내