만족도 조사를 할 때, 5점 척도나 10점 척도를 사용하면 현실을 정확히 반영하기 어렵다고 이야기 한 바 있다. 그래서 NPS라는 도구를 이용하는데, 자세한 내용은 아래에 있으니 한번 살펴보자.
이런 관점에서 그냥 재미 삼아 잡플래닛의 리뷰 데이터를 NPS로 변형해보자. 왜 이런 짓을 하냐면, 그냥 재미 있으니까. 일단 데이터를 수집하기 위해 간단하게 웹 스크래핑 코드를 짜는데, 구글 앱스 스크립트라는 도구를 이용하면 아주 좋다.
앱스 스크립트를 이용하면 자바스크립트 코드를 작성할 수 있고, 데이터를 구글 스프레드 시트에 저장할 수 있다. 물론, 구글 독스나 드라이브를 조작하는 일도 가능하고 애널리틱스 데이터를 확인하는 일도 가능하다. 구글의 여러 서비스를 자바스크립트로 컨트롤할 수 있게 해주는 기능이라고 이해하면 되는데 일단 자바스크립트를 할 줄 알아야 한다.
잡플래닛에 등록된 기업을 1,000개 정도 가져올텐데 이걸 수작업으로 가져올 수는 없으니 코드를 짠다. 그리고 수작업으로 가져오면 실수할 수도 있다. 뭐 코드는 아주 간단하다. 다 해서 50줄도 안 된다. 스크래핑은 아주 간단한 작업이기 때문에 대충 작성한다. 일단 돌아가기만 하면 된다.
데이터를 모두 가져왔다. 일단 결과는 흥미롭다. 먼저, 거의 대부분의 기업이 3점 이상의 평점을 받았지만 NPS로 변환하면 0을 넘는 기업의 숫자가 극히 적다는 사실을 알 수 있다. NPS에서 0을 넘는다는 것은 추천하는 사람의 숫자가 추천하지 않는 사람의 숫자보다 많다는 것, 즉 ‘순 추천’의 상태라는 것을 의미한다. 하지만 0을 넘지 못하다는 것은 ‘순 비추천’의 상태라는 것을 의미한다. 그리고 평균 평점이 4점을 넘지 못하는 기업은 거의 대부분 순 비추천 상태다. 5점을 매우 추천, 1점을 매우 비추천이라고 봤을 때 3점은 보통인 셈이고, 3~4점이라면 추천한다는 의미라고 해석해야 할텐데 말이다.
하지만 NPS와 5점 척도 사이에도 뚜렷한 상관관계가 존재하는데, 대체로 5점 척도 기준으로 높은 평균 점수를 받은 기업은 NPS 스코어도 높았다. 하지만 NPS와 5점 척도가 일치하지 않는 특이 케이스가 간간히 보인다. 이런 케이스를 어떻게 해석해야 할까? 우선 NPS가 평점에 비해 많이 높다면 데이터의 신뢰성을 의심해봐야 한다. NPS는 5점 척도, 10점 척도로 평가했을 때 점수가 높게 나온다는 문제를 보완하는 조사 방법인데, 오히려 점수가 월등히 높게 나온다는 것은 매우 이상한 현상이다. 이 데이터는 되도록이면 걸러내는 편이 좋다는 생각이 많이 든다.
결론적으로 추세선 부근에 대부분의 데이터가 몰려 있고, 이 데이터는 신뢰할만하다. 평점 3.95점 이상의 기업은 실제로도 순 추천 상태의 기업이니 이른바 ‘좋은 기업’이라고 할 수 있다. 회귀분석도 한 번 시도해보자. 평점과 NPS 사이의 회귀분석을 해보니 ‘Y = 0.77 X – 2.99’이라는 회귀식을 얻을 수 있었다. 이는 만약 어떤 기업의 평균 평점이 약 3.9점 정도 된다면 순 추천상태가 될 확률이 매우 높아진다 사실을 의미한다.
흥미롭지 않은가? 이렇게 NPS를 이용하면 실생활에 존재하는 많은 5점짜리 데이터를 NPS 스코어로 변환해서, 실제로 사람들이 얼마나 추천하고 있는지 확인해볼 수 있다. 하지만 많은 기업이 5점 척도를 포기하지 못하는 이유가 있다. 직관적이기 때문이다. 만약 NPS 스코어로 배달 음식점의 평점을 매긴다고 생각해보자. 세상에 100점에서 -100점까지 분포할 수 있다니… 게다가 점수가 마이너스로 나올 수도 있다고?! 그냥 대부분 3점 이상을 받아갈 수 있는 5점 척도를 선택하는 편이 훨씬 편리하다.
그렇다면 이런 주제도 한번 생각해보자. NPS 스코어는 5점 척도나 10점 척도가 가지고 있는 “점수가 높게 나와서 현실을 왜곡한다”는 문제를 해결하기 위해 고안된 조사 도구다. 그런데 5점 척도에 비해 NPS 스코어가 훨씬 높게 나오는 케이스는 어떻게 해석해야 할까? 이 주제는 독자께서 생각해보실 수 있도록 남겨두겠다.