[UX 기획 및 리서치] CH5: 사용성 테스트 방법

 

5-1) 사용성 테스트의 개념과 중요성

 

사용성 테스트(Usability Test; UT)

• 유저가 제품이나 서비스를 실제 사용할 때 의도한 시나리오에 따라 테스크를 수행하는 지, 문제점은 없는지 관찰하기 위해 진행
• 유저가 제품이나 서비스를 사용할 때 어떤 생각을 가지고 어떤 혼란을 겪는지 파악할 수 있음
• 제품 개선 전에 진행하면 유저가 불편하게 생각하는 부분을 파악할 수 있고, 제품 개선 후에 진행하면 유저가 실제 어떻게 사용하는지를 파악할 수 있음
• 중요성
  • 사용성 테스트를 하는 이유는 우리가 사용자가 아니기 때문임
  • 오히려 우리는 프로젝트에 대해 너무 많이 알기 때문에 편향을 가지고 있음
  • 유저가 화면을 직접 조작하면서 마주치는 문제를 식별할 수 있음
  • 디자인을 유저 중심적으로 개선하는 데 도움을 받을 수 있음
  • 예산이 제한적이거나 시간이 촉박한 경우에 캐주얼하게 카페에서 진행하는 사용성 테스트로도 유용한 인사이트를 얻을 수 있음

 

 

5-2) 사용성 테스트 준비

 

사용성 테스트 구성 요소

• 진행자(Moderator)
  테스트 목적과 절차 안내
  참가자가 편안히 테스트할 수 있는 분위기 조성
  테스크 지시 및 수행 과정 관찰
  참가자가 생각을 말로 표현하도록 유도   
• 테스크(Task)
  참가자가 현실적으로 수행 가능한 활동으로 구성
  구두 또는 안내지로 전달
  참가자가 직접 소리 내어 읽게 하면 이해도와 관찰 효율 증가    
• 참가자(Participant)
  실제 유저를 대표할 수 있어야 함
  출시 제품 테스트 → 제품 사용 경험자나 유사 경험자
  미출시 제품 테스트 → 유저 페르소나와 유사한 특성을 가진 사람
  내부 구성원이나 무관한 인물은 비추천    
• 관찰자(Observer)
  참가자의 행동과 반응을 기록
  진행자와 같은 공간에서 기록하거나 원격으로 화면·참가자 관찰

출처: UX 기획 및 리서치(5-2)

 

 

사용성 테스트 공간 환경 구성

• 테스트 공간
  • 진행자와 참가자가 테스트를 수행하는 공간
  • 참가자는 실제 사용 환경처럼 자연스럽게 행동
• 관찰 공간
  • 관찰자가 참가자의 행동·발화를 실시간으로 기록하는 공간
  • 단방향 거울이 설치된 경우, 테스트 공간은 관찰 공간을 볼 수 없음
• 원격 테스트
  • 줌, 구글밋 등 화상 도구를 활용
  • 참가자의 얼굴 + 화면 조작을 동시에 확인 가능
  • 진행자가 실시간 질문 가능
• 공간 분리 불가라면?
  • 별도의 관찰 공간이 없는 경우, 테스트 공간에 진행자와 관찰자(서기 역할 포함) 1명이 함께 입장

출처: UX 기획 및 리서치(5-2)

 

 

사용성 테스트 준비

• 5명의 유저를 테스트 및 사후 인터뷰하면 약 85%의 사용성 문제를 발견할 수 있음
• 본 테스트 전에 파일럿 테스트 최소 1회 시행을 권장
• 준비 과정
  • 목적 설정: 이번 테스트에서 확인하고 싶은 사항 정의
  • 참여자 리크루팅 & 스크리닝
    필요 시, 사전 질문을 통해 참가자 적합성 검증
    공지: 목적, 방식, 일정, 보상 등 안내
  • 테스크(Task) 선정: 참가자가 현실적으로 수행할 수 있는 미션 선정
    (예시-커머스 서비스) 장바구니에 담긴 상품을 결제해보세요, 이전에 구매한 상품의 리뷰를 작성해보세요.
  • 시나리오 작성: 테스크 수행 요청 순서, 후속 질문 리스트 포함
  • 파일럿 테스트 진행: 실제 환경과 동일하게 리허설
    체크 항목: 화면·오디오 송출 상태, 소요 시간 적절성, 전문 용어 사용 여부, 질문 피드백 수집
• 사용성 테스트 시나리오 예시

• 진행자가 어떤 절차에 따라 테스트를 진행할 것인지 참조할 수 있는 가이드 문서
  • 아이스브레이킹: 참가자가 긴장을 풀 수 있도록 가벼운 질문 후 시작
  • 테스크 순서: 참가자가 자연스럽게 순서대로 진행할 수 있도록 구성
  • 시간 관리: 미리 공유된 시간 내에 완료할 수 있도록 테스크·질문 설계

출처: UX 기획 및 리서치(5-2)

 

 

5-3) 사용성 테스트 실행

 

사용성 테스트 실행 과정

• 총 1시간 내외로 구성하는 것이 적절
• 사용성 테스트 안내: 목적, 진행 방법, 주의 사항 안내, 영상/사진 촬영 동의 및 보안 서약서 작성
• 테스크 안내: 참가자가 수행할 테스크 설명
• 테스크 수행 & Think Aloud: : 참가자가 테스크 수행, 수행 중 생각·감정 표현 요청
• 사후 인터뷰: 이용 만족도 측정, 기대 vs 실제 경험, 불편 요소 확인, 각 테스크 종료 직후 진행 권장
• 마무리: 테스트 종료 안내, 참여 보상 제공
• 관찰자도 테스트 전 시나리오 숙지 필요함

출처: UX 기획 및 리서치(5-3)

 

 

Think Aloud

• 참가자가 테스크 수행 중 머릿속 생각을 말로 표현하도록 유도하는 방법
• Think Aloud를 통해 얻을 수 있는 정보
  • 유저가 메뉴, 버튼, 아이콘을 클릭한 의도
  • 특정 행동 후 기대하는 결과값
  • 테스크 수행 중 겪는 어려움
  • 테스크 수행 중 실수 원인
• Think Aloud 진행 방법
  • Concurrent Think Aloud: 테스크 수행과 동시에 참가자가 생각을 말로 표현
    장점: 참가자의 의도를 명확히 파악 가능
    단점: 말과 행동을 동시에 하다 보니 수행 집중력 저하 가능, 진행자가 실수로 다음 행동을 암시할 위험 있음
  • Retrospective Think Aloud: 테스크 종료 후 참가자가 기억을 되살리며 생각을 표현
    장점: 테스크 수행 중에는 수행에만 집중 가능
    단점: 이전 행동을 기억하지 못할 수 있음, 사소한 오류에 대해 적극적으로 표현하지 않을 수 있음
  • 일반적으로는 Concurrent Think Aloud 방식이 선호됨
• 유의사항
  • 참가자가 생각을 많이 말하도록 유도
  • 질문할 때 답변 최소화
  • 실수 시 개입 금지
  • 열린 질문으로 생각 유도(참가자의 생각을 알아보는 것)

 

 

5-4) 사용성 테스트 결과 정리

 

사용성 테스트 결과 정리하기

• 문제점 도출
  참가자의 생각과 행동 기록 종합
  진행자·관찰자 기록 종합
• 원인 도출
  예상 경험 vs 실제 경험 비교
  이해·기대 vs 실제 경험 차이 확인
• 개선 방향 도출
  테스크별 개선 필요 사항 리스트업
  정보 구조 관점에서 개선 사항 정리

 

 

우선순위 논의 Tip

• 이용 만족도 측정: 테스크 수행 후 참가자의 난이도 평가 또는 만족도 평가
  예시 질문: “테스크 수행 난이도는 어땠나요? ① 매우 쉬웠다 ~ ⑤ 매우 어려웠다”
  목적: 테스크별 만족도 비교, 개선 우선순위 결정 근거
• 테스크 성공/실패 여부: 참가자가 테스크 수행 과정에서 성공, 부분 성공, 실패 여부 점수화
  평가 기준 예시: 
  S(완전 성공)-어려움 없이 수행
  P1/P2(부분 성공)-일부 힌트 필요 혹은 오류 발생
  F(실패)-수행 불가
  E(제외)-의도와 무관한 수행
• 테스크 수행 용이성: 참가자의 이동 동선, 페이지 이동 횟수, 클릭/커서 횟수, 과제별 소요 시간 관찰
  목적: 테스크 수행 시 발생한 장애 요인 확인
  주의: Think Aloud 및 사후 인터뷰 시간 제외, 테스크 간 직접 비교 금지
  • 테스크 수행 용이성 측정 지표
    • 과제별 평균 소요 시간
      테스크 목표가 다르므로 테스크 간 비교는 금지
      Think Aloud/사후 인터뷰 시간 제외
    • 페이지 이동 횟수
      공식: 예상 경로 페이지 수 ÷ 실제 이동한 페이지 수
      예상 경로보다 많으면 장애 요인 확인 필요
    • 클릭 및 커서 횟수
      메뉴명이 명확하지 않으면 되돌아가거나 클릭을 반복
      원하는 메뉴 탐색이 어렵다는 의미 → 메뉴 개선 필요
    • 이동 동선
      참가자가 클릭하며 이동한 경로 분석
      주 이동 동선과 벗어난 경우 원인 및 대처 방법 확인
      다수 참가자의 동선을 분석하여 주요 장애 요인 파악

 

 

5-5) 제이콥 닐슨의 휴리스틱 평가 방법

 

휴리스틱 평가

• 전문가가 인터페이스를 검토하여 문제점을 발견하는 방법
• 유저가 아닌 디자이너/UX 전문가가 특정 휴리스틱 기준으로 평가
• 디자인 초기 단계에서 빠르고 쉽게 적용 가능
• 전문가 중심 평가이므로 실제 유저 경험을 완전히 대변하지 못함

 

 

제이콥 닐슨의 10가지 휴리스틱 평가 항목

• 시스템 상태 가시성 (Visibility of System Status)
  유저가 현재 무엇을 하고 있는지 명확히 보여주는가?
  예시: 텍스트 필드의 focused 상태
  설명: 적절한 피드백 제공으로 진행 상황 인지
  
  
• 시스템과 실제 세계 매칭 (Match Between System & Real World)
  아이콘, 문구, 메뉴명이 현실 세계와 논리적으로 매칭되는가?
  예시: 친숙한 메타포의 아이콘/메뉴명
  설명: 자연스러운 정보 흐름으로 이해 용이
  
  
• 유저의 선택권 및 자유도 (User Control and Freedom)
  서비스 사용 중 실수 시 취소·재실행 가능한가?
  예시: 실행 취소 기능
  
  
• 일관성과 규정 (Consistency and Standards)
  화면 간 일관성 유지되고 있는가?
  예시: 디자인 시스템 일관성
  
  
• 에러 방지 (Error Prevention)
  사용자가 실수를 최소화할 수 있는가?
  예시: 명확한 터치 영역
  
  
• 기억보다는 인지 (Recognition Rather Than Recall)
  별도의 기억 없이 직관적으로 사용 가능한가?
  예시: 상품 검색 후 장바구니 담기
  
  
• 유연성과 효율성 (Flexibility and Efficiency of Use)
  초보자와 전문가 모두 편리하게 사용 가능한가?
  예시: 개인화 설정, 자동차 모드
  
  
• 심미적이고 미니멀한 디자인 (Aesthetic and Minimalist Design)
  불필요한 정보 없이 단순하고 조화로운 디자인인가?
  예시: 에어비앤비 숙소 리스트 화면
  
  
• 에러 인식, 진단 및 회복 (Help Users Recognize, Diagnose, and Recover from Errors)
  에러 발생 시 유저가 스스로 해결 가능한가?
  예시: 비밀번호 설정 가이드
  
  
• 도움말과 문서화 (Help and Documentation)
  필요한 도움말이 쉽게 접근 가능한가?
  예시: 고객센터 FAQ
  설명: 사용자가 문제 해결 단계별로 참고 가능