System Usability Scale에 대해 읽어보셨을 겁니다. 좋은 점수가 어떤 것인지도 알고 계실 겁니다. 이제 직접 실시해보고 싶으시죠.

이것은 실용 가이드입니다. 끝까지 읽으시면 누구를 조사해야 하는지, 언제 보내야 하는지, 응답이 몇 건 필요한지, 그리고 결과가 돌아왔을 때 어떻게 해야 하는지 알게 됩니다.

1단계: 무엇을 측정할지 결정하기

무엇이든 보내기 전에, 무엇을 평가하는지 명확히 하세요. SUS는 기술에 독립적입니다. 웹 앱, 모바일 앱, 데스크톱 도구, 물리적 기기 모두에서 동일하게 잘 작동하지만, 범위가 구체적일수록 더 효과적입니다.

전체 제품을 측정하고 있나요? 온보딩이나 결제 같은 특정 흐름인가요? 방금 출시한 새로운 기능인가요?

범위가 좁을수록 신호는 더 유용합니다. 사용자에게 전체 제품을 평가해달라고 하면, 사용성에 대한 전반적인 그림을 얻게 됩니다. 온보딩 경험을 구체적으로 평가해달라고 하면, 해당 여정 부분에 대한 더 정확한 측정을 얻게 됩니다.

처음 SUS를 실시하는 대부분의 팀에게는 전체 제품을 측정하는 것이 올바른 출발점입니다. 기준선을 확보할 수 있습니다. 어디를 더 자세히 봐야 할지 알게 되면 그때 더 구체적으로 파고들 수 있습니다.

2단계: 참가자 선정하기

SUS는 실제 사용자를 대표하는 사람들이 작성해야 합니다. 동료도, 친구도, 우연히 근처에 있던 사람도 아닙니다.

이것은 표본 크기보다 더 중요합니다. 적합한 사람들의 10개 응답이 부적합한 사람들의 50개 응답보다 더 많은 것을 알려줍니다.

몇 가지 원칙:

제품을 사용해본 사람이어야 합니다. SUS는 인지된 사용성을 측정하며, 이는 실제 경험을 필요로 합니다. 데모만 보았거나 시연을 시청한 사람에게 물어보지 마세요.

타겟 오디언스와 일치해야 합니다. 제품이 소규모 사업주를 위한 것이라면, 소규모 사업주를 대상으로 조사하세요. 완전히 다른 멘탈 모델로 접근하는 개발자나 디자이너가 아닙니다.

파워 유저일 필요는 없습니다. 실제로 새로운 사용자가 가장 유용한 신호를 제공하는 경우가 많습니다. 경험이 많은 사용자는 시간이 지남에 따라 마찰에 적응하고 더 이상 인식하지 못하게 됩니다.

3단계: 표본 크기 결정하기

SUS의 좋은 점은 적은 표본 크기에서도 통계적으로 신뢰할 수 있다는 것입니다. 수백 개의 응답이 필요하지 않습니다.

실용적인 지침:

• 5개 응답 — 대략적인 방향성 신호를 제공하며, 매우 빠른 확인에 유용
• 12~15개 응답 — 대부분의 제품 의사결정에 충분히 신뢰할 수 있음
• 20개 이상 응답 — 높은 신뢰도, 이해관계자에게 보고하거나 이전 점수와 벤치마크하기에 적합

릴리스를 거치며 정기적으로 SUS를 실시한다면, 완벽함보다 일관성이 더 중요합니다. 매번 비교 가능한 사용자로부터 12개의 응답을 얻으면, 신뢰할 수 있는 추세선이 형성됩니다.

4단계: 올바른 시점 선택하기

사용자에게 설문조사 완료를 요청하는 시점은 누구에게 요청하는지만큼이나 중요합니다.

SUS는 사용자가 제품과 실제로 상호작용한 후에 실시해야 합니다. 그 전도 아니고, 경험이 흐려질 만큼 오래 지난 후도 아닙니다.

가장 일반적인 두 가지 접근법:

세션 후 — 사용성 테스트나 특정 과제 직후. 가장 신선한 인상을 얻을 수 있으며, SUS가 원래 설계된 접근법입니다.

온보딩 후 — 사용자가 가입하고 탐색할 시간을 가진 후 며칠 뒤에 발송. 공식적인 리서치 프로세스가 없는 팀에게 더 실용적이며, 실제 경험을 더 대표적으로 반영합니다.

몇 달 전에 가입하여 제품을 집중적으로 사용해온 사용자에게 SUS 설문조사를 보내는 것은 피하세요. 장기적인 익숙함은 사용성 문제를 가립니다. 경험이 많은 사용자는 마찰에 적응하고 더 이상 인식하지 못하게 됩니다.

5단계: 설문조사 안내문 작성하기

10개의 SUS 질문은 고정되어 있습니다. 변경하지 않습니다. 하지만 질문 앞에 작성하는 안내문이 맥락을 설정하고 응답의 질에 영향을 미칩니다.

간결하게 작성하세요. 사용자에게 다음을 알려주세요:

1. 무엇을 평가해달라고 요청하는지 (특정 제품 또는 기능)
2. 정답이나 오답이 없다는 것 — 솔직한 인상을 원한다는 것
3. 2분도 걸리지 않는다는 것

간단한 예시:

“[제품명]이 얼마나 사용하기 쉬운지 알고 싶습니다. 지금까지의 경험을 바탕으로 다음 10개 질문에 답해주세요. 정답이나 오답은 없습니다. 솔직한 첫인상을 들려주세요. 2분도 걸리지 않습니다.”

긍정적인 언어(“제품을 즐기고 계시기를 바랍니다”)나 부정적인 프레이밍(“몇 가지 문제가 있다는 것을 알고 있습니다”)으로 유도하지 마세요. 중립을 유지하세요.

6단계: 10개의 질문 보내기

SUS 설문지는 표준화되어 있습니다. 정확한 문구가 중요합니다. 질문을 다르게 표현하거나 순서를 바꾸지 마세요. 사용자는 각 문항을 1(전혀 동의하지 않음)부터 5(매우 동의함)까지의 척도로 평가합니다.

10개의 문항은 다음과 같습니다:

1. 나는 이 시스템을 자주 사용하고 싶다고 생각한다.
2. 나는 이 시스템이 불필요하게 복잡하다고 느꼈다.
3. 나는 이 시스템이 사용하기 쉽다고 생각했다.
4. 나는 이 시스템을 사용하기 위해 기술적인 사람의 도움이 필요할 것이라고 생각한다.
5. 나는 이 시스템의 다양한 기능들이 잘 통합되어 있다고 느꼈다.
6. 나는 이 시스템에 일관성이 없는 부분이 너무 많다고 생각했다.
7. 나는 대부분의 사람들이 이 시스템 사용법을 매우 빠르게 배울 수 있을 것이라고 생각한다.
8. 나는 이 시스템이 매우 사용하기 번거롭다고 느꼈다.
9. 나는 이 시스템을 사용할 때 매우 자신감을 느꼈다.
10. 나는 이 시스템을 사용하기 전에 많은 것을 배워야 했다.

실용적인 참고: “시스템”을 제품명으로 바꾸면 더 자연스럽게 읽힙니다. “나는 [제품명]이 사용하기 쉽다고 생각했다”는 괜찮으며, 설문조사가 덜 일반적으로 느껴지게 합니다.

7단계: 점수 계산하기

계산 방법은 질문이 긍정적인 문구와 부정적인 문구를 번갈아 사용하기 때문에 다소 직관적이지 않습니다. 방법은 다음과 같습니다:

홀수 번호 질문 (1, 3, 5, 7, 9)의 경우: 사용자의 응답에서 1을 뺍니다.

짝수 번호 질문 (2, 4, 6, 8, 10)의 경우: 5에서 사용자의 응답을 뺍니다.

조정된 10개의 값을 모두 더한 후 2.5를 곱합니다. 결과가 해당 사용자의 SUS 점수이며, 0에서 100까지의 척도입니다.

전체 점수를 구하려면 모든 응답자의 개별 점수를 평균냅니다.

번거롭게 들린다면, 실제로 그렇습니다. 대부분의 팀은 계산을 처리하는 스프레드시트 템플릿을 만들거나, 자동으로 계산해주는 도구를 사용합니다.

8단계: 결과 해석하기

점수를 얻은 후, 다음과 같이 해석합니다:

기억하세요: 68은 평균이지, 좋은 점수가 아닙니다. 70대 초반의 점수를 축하하고 있다면, C등급에 있는 것입니다. 80 이상을 목표로 하세요. 그 지점에서 사용자들이 적극적으로 제품을 다른 사람들에게 추천하기 시작합니다.

9단계: 한 번의 점수로 멈추지 않기

단일 SUS 점수는 스냅샷입니다. 유용하지만 제한적입니다.

SUS의 진정한 가치는 시간에 따라 추적하는 것에서 나옵니다. 일정한 간격으로 설문조사를 실시하고 추세선을 관찰하는 것입니다. 오늘의 71이라는 점수는 그 자체로는 큰 의미가 없습니다. 4번의 릴리스에 걸쳐 58에서 71로 올라간 점수는 팀의 사용성 작업이 측정 가능한 효과를 내고 있음을 보여줍니다.

SUS를 릴리스 주기에 통합하세요. 중요한 변경이 있을 때마다 실시하세요. 매번 넘어야 할 목표를 스스로에게 부여하세요.

지름길

위의 모든 것은 수동으로 할 수 있습니다. 설문조사에는 구글 폼, 점수 계산에는 스프레드시트, 매 회차 후 수동으로 업데이트하는 차트.

특히 시작할 때는 그것으로 충분합니다. 하지만 마찰이 생기고, 이는 일관되게 실행되지 않는 경향이 있음을 의미합니다. 다음 릴리스 후 설문조사가 발송되지 않는 것은 누군가가 잊었기 때문입니다. 스프레드시트가 업데이트되지 않는 것은 아무도 담당하지 않기 때문입니다. 추세선은 결코 형성되지 않습니다.

UXScore는 설문조사, 점수 계산, 추적을 자동으로 처리합니다. 정기적인 SUS 실시가 프로젝트가 아닌 습관이 됩니다.