ChatGPT로 유저 리서치가 가능할까?

2023.03.16

ChatGPT가 불러온 열풍이 날이 갈수록 뜨겁다. OpenAI에서 공개한 이 생성형 AI는 자연스러운 대화는 말할 것도 없고 자소서며 에세이며 시 쓰기며 상당한 작문 능력을 요구하는 분야에서도 뛰어난 퍼포먼스를 보여주고 있다.

이러한 ChatGPT가 유저 리서치 영역에서도 적용될 수 있으리란 생각은 못해봤는데, 최근에 읽었던 아티클에서 많은 인사이트를 얻었다. 와, UX영역에서 ChatGPT를 이렇게 활용해 볼 수도 있겠구나 했던.. 아티클을 읽고 나서 ChatGPT로 유저 리서치가 가능할까?라는 질문에 답하자면 정확히는 "유저 리서치 설계 단계에서 생산성을 높이는 지원 도구가 될 수 있다." 정도로 얘기할 수 있겠다.

아티클의 내용과 나의 인사이트를 담아 이 글을 적어본다.

아티클의 원문은 여기서 확인 가능하다

사용자 리서치를 한다는 것은 단순히 사용자를 만나 인터뷰한다, 설문 조사를 돌린다의 수준이 아니다. 인터뷰를 한다면 인터뷰 목적, 대상자 설정, 스크리닝 작업, 인터뷰 가이드 및 질문지 작성, 인터뷰 진행, 결과 분석 등 준비-진행-분석 과정의 모든 작업을 수행해야 한다. 그리고 이것이 UX 리서처에게 요구되는 전문 역량이다. 이런 UX 리서처의 역할을 ChatGPT가 어떻게 수행할 수 있을까?

아티클에서는 정확하게 말하자면 유저 리서치의 준비, 즉 설계 단계에서의 ChatGPT 활용 예시를 소개하고 있다. 설계 단계를 순차적으로 따라가 보면서 사례를 살펴보겠다.

(*일부 의역이나 잘못된 번역이 있을 수 있습니다.)

1. 개요 작성

아티클의 저자는 ChatGPT에게 사용성 테스트를 수행하는 모더레이터를 위한 가이드 초안을 작성해 달라고 하며 프로덕트는 주식 거래와 투자를 위한 온라인 중개 플랫폼, 테스크는 잠재 고객과 기존 고객을 위한 것이라고 설명을 덧붙였다.

“Write an outline for a usability test moderator's guide. The product is an online brokerage platform for trading stocks and investing. The tasks are for prospects considering the service and for existing customer managing their account.”

그리고 ChatGPT로부터 돌아온 답변은 이랬다.

1. 소개

- 사용성 테스트 목적: 주식 거래 및 투자를 위한 온라인 중개 플랫폼의 사용성과 경험을 평가합니다.

- 모더레이터의 역할: 참가자가 수행할 테스크를 소개하고, 질문하고, 관찰 및 기록합니다.

- 테스트 환경 및 참가자에 대한 정보: 테스트는 화면 공유 및 화상 회의 소프트웨어를 사용하여 원격으로 수행됩니다. 참가자에는 플랫폼 사용을 고려하고 있는 잠재 고객과 기존 고객이 포함됩니다.

2. 준비

- 제품 숙지: 모더레이터는 플랫폼의 특징과 기능은 물론 모든 관련 문서 또는 사용자 가이드를 검토해야 합니다.

- 테스트 목표 및 질문 검토: 모더레이터는 각 테스크 별로 구체적인 목표와 질문을 정의하고 참가자의 퍼포먼스와 만족도를 가장 잘 관찰하고 측정할 수 있는 방법을 고려해야 합니다.

- 장비 선택 및 설정: 진행자는 필요한 녹음 소프트웨어, 카메라 및 마이크가 설정되고 제대로 작동하는지 확인해야 합니다.

- 테스트 참가자 모집 및 일정: 적절한 테스트 참가자를 식별 및 모집하고 각 참가자에게 편리한 시간에 테스트 세션을 예약해야 합니다.

3. 테스트 수행

- 참가자 환영 및 오리엔테이션: 참가자에게 자신을 소개하며 인사하고 사용성 테스트의 목적과 프로세스를 설명해야 합니다.

(중략)

- 필요에 따라 도움주지만 참가자의 행동에 영향 피하기: 참가자가 작업에 어려움을 겪고 있는 것처럼 보이면 도움이나 설명을 제공할 수 있지만 직접적인 지침을 제공하거나 참가자의 행동에 영향을 주는 것은 피해야 합니다.

- 대본을 따라가며 준비된 질문하기: 대본을 따라가며 준비된 질문을 하여 추가 데이터와 통찰력을 수집해야 합니다.

4. 보고 및 마무리

- 참가자의 시간과 피드백에 감사: 참가자의 참여와 피드백에 대해 감사해야 합니다.

(중략)

- 데이터 분석 및 관련 팀원과 결과 공유: 데이터를 분석하고 결과를 기반으로 개선 또는 변경 사항을 제안하는 등 관련 팀원과 결과를 공유해야 합니다.

답변은 꽤나 자세하고 알맞은 내용들이지만, 특정 테스트를 위한 가이드라기보다는 기본적이고 범용적으로 적용 가능한 가이드다. 어쩌면 ChatGPT에게 준 정보가 부족했기 때문일 수도 있다.

아무튼, 이렇게 만들어진 가이드를 그대로 실무에 적용하기는 무리가 있어 보이지만 초안으로는 괜찮은 것 같다. 여기에 우리 프로젝트에 맞게 계속해서 구체화하고 살을 붙이는 작업을 하면 된다.

2. 스크리너 작성

이번엔 테스트에 적합한 참가자를 모집하기 위한 스크리너 작성을 요청해 보았다.

“Can you draft a short screener to have potential participants take so we can ensure we have the right people in our study?”

1. 현재 온라인 중개 계좌가 있습니까?

- 예
- 아니오

2. 이전 질문에 "예"라고 대답한 경우 다음 중 어떤 회사에 계정이 있습니까? (해당되는 모든 것들을 고르세요)

- Vanguard
- Charles Schwab
- Fidelity
- E*TRADE
- 기타(구체적으로 기재)

3. 과거에 온라인 중개 플랫폼을 사용해 본 적이 있습니까?

- 예
- 아니오

4. 얼마나 자주 온라인 주식 거래나 투자를 하십니까?

- 매일
- 매주
- 매월
- 드물게 (Rarely)
- 전혀 (Never)

5. 평소 주식 투자 또는 거래 경험이 있습니까?

- 예, 경험이 많습니다.
- 예, 경험이 있습니다.
- 아니요, 투자가 처음입니다.

6. 현재 온라인 중개 계좌 개설을 고려하고 있습니까?

- 예
- 아니오

답변이 역시나 기초적인 수준이다. 그리고 이번엔 교정해야 할 것들이 많이 보인다.

4번 문항에서 '드물게'와 '전혀'는 응답값으로 적절하지 않다. 드물게라는 기준은 참가자마다 상이할 수 있기 때문에 참가자가 대답하기 어렵고 답변의 정확도도 떨어진다. 전혀와 같은 응답 항목은 '한 번도 사용해 본 적이 없다'라는 의미라면 3번 문항에서 '아니오'와 같은 응답이므로 생략해도 좋다. 뿐만 아니라 타겟 세분화가 필요하다면 매주, 매월의 기준도 더 정확히 제시해 주면 좋다. 예를 들어, 일주일에 1번 이상, 한 달에 1번 이상처럼 말이다.

3. 질문지 작성

다음은 사용성 테스트 동안에 참가자에게 물어볼 질문 목록을 작성할 차례다. 아티클의 저자가 요청했던 질문처럼, 나도 한 번 ChatGPT에게 물어보았다. 사용성 테스트 동안 참가자에게 물어볼 질문 6가지를 구성해 달라고 말이다.

개인적으로 질문지 작성 파트에서는 만족스러운 수준이었다. 역시나 우리 프로젝트에서 중점적으로 살펴볼 문제에 대해 더 깊게 파야겠지만 기본 틀을 잡는 것에는 도움이 될 것 같다.

질문 개수를 늘려서 다시 물어봤더니 꽤 쓸만한 질문들이 있다.

사용성 테스트가 끝난 뒤의 질문을 개방형과 평가 척도를 포함해 작성해 달라고 조건을 추가해 볼 수도 있다.

“create a set of 2 to 5 follow-up questions to ask after tasks. Include some open-ended questions and rating scales.”

개방형 질문:

- 테스크에 대해 전반적으로 어떻게 느꼈습니까?

- 이 테스크를 수행하는 동안 플랫폼에 대해 가장 유용하거나 유용하다고 생각한 것은 무엇입니까?

- 혼란스럽거나 실망스러운 부분이 있었나요?

- 테스크 수행 경험에 대해 공유하고 싶은 다른 사항이 있습니까?

평가 척도:

- 1에서 5까지의 척도로 얼마나 만족하셨습니까? (1=매우 불만족, 5=매우 만족)

- 작업이 얼마나 쉬웠습니까? (1=매우 어려움, 5=매우 쉬움)

- 향후 이 기능을 사용할 가능성이 얼마나 됩니까? (1=가능성이 매우 낮음, 5=가능성이 매우 높음)

질문 자체는 어색한 부분이 많이 있긴 하지만 테스트 과정(전-중-후)마다 해야 할 질문 유형에 대해서는 정확히 파악하고 있는 것 같다.

4. 테스크와 프롬프트 작성

사용성 테스트에서 참가자에게 요청할 테스크와 프롬프트도 요청해 봤다. 12가지 중 6개는 잠재 고객을 위한 테스크 목록, 6개는 기존 고객을 위한 테스크로 구성해 달라고 했다.

“prepare a list of 12 potential tasks to test in this study. 6 should be for prospects and 6 should be for current customers.”

잠재 고객을 위한 테스크:

1. 다양한 주식 옵션 검색 및 비교하기

2. 새 계정 설정 및 가입 완료하기

3. 계정에 자금 추가 및 첫 거래하기

4. 포트폴리오 성과 보기

5. 플랫폼의 분석 도구 사용하기

6. 고객 지원에 문의하기

현재 고객을 위한 테스크:

1. 포트폴리오 성과 보기

2. 거래하기

3. 경고 및 알림 보기

4. 투자 혹은 거래 분석 사용하기

5. 계정 설정 및 기본 설정 업데이트

6 . 지원 또는 질문에 대한 고객 지원 문의

이 경우는 별로 의미가 없었다. 고객 군에 따라서 달라지는 내용도 없었고 실제 테스크 설계는 훨씬 자세하고 정교해야 한다.

그렇지만, 이 테스크를 위해 참가자에게 제시하는 프롬프트 작성에서는 상당히 흥미로웠다.

새 계정 설정 및 가입 완료하기 : "이 플랫폼을 처음 사용하고 새 계정 설정을 해야 합니다. 플랫폼을 사용하여 등록 절차를 완료하고 새 계정을 설정하세요."

계정에 자금 추가 및 첫 거래하기: "이제 귀하는 투자를 시작할 준비가 되었습니다. 플랫폼을 사용하여 계정에 자금을 추가하고 첫 거래를 진행해 보세요. 추가하려는 자금의 양, 거래하려는 자산 유형과 관련 수수료, 리스크를 고려해 거래하세요."

테스크 스텝별로 프롬프트를 작성해주기도 한다.

전반적으로 기초적인 내용이기 때문에 각 프로젝트 성격에 맞게 구체화시키고 첨삭하는 것은 불가피하지만 백지상태에서 A to Z까지 유저 리서치를 설계하는데 어려움을 겪거나 시간이 부족하다면 초안 작성용으로는 충분히 활용해 볼만하다고 느꼈다. 빠지거나 몰랐던 부분에 대해 힌트를 얻을 수도 있을 것 같다.

ChatGPT에게 리서치 목적, 성격, 참가자 타켓에 대한 정보를 더 많이, 더 구체적으로 제공해 본다면 어떨지도 궁금하다.

이번 기회에 ChatGPT를 사용해 보고 느낀 점은 자연어 처리와 생성을 위한 AI 기술이 급속도로 발전하고 있다는 것이다. 특히, 도메인에 대한 전문 지식이 뛰어나고 턴 테이킹(Turn-Taking)이 가능하다는 것이 놀라웠다.

내가 UX 전공자로 오랜 시간 공부해 온 전문 지식이 ChatGPT가 고스란히 (어쩌면 나보다 월등히 뛰어나게) 학습했다는 것.. 부러울 지경이었다.

그리고 그동안 턴 테이킹이 어렵다는 한계를 극복한 모습이 인상 깊다. 턴 테이킹은 쉽게 대화 주고받기라고 생각하면 되는데 대화를 성공적으로 주고받기 위해서는 상대방이 한 이야기, 내가 한 이야기가 자연스럽게 맥락이 이어져야 한다. 그동안은 AI가 사용자가 이전에 한 대화 내용을 기억하지 못했기 때문에 엉뚱한 소리를 하거나 대화를 계속해서 새로 시작해야만 했다. 심심이와 같이 말이다.

그런데 ChatGPT는 이전에 내가 했던 명령어들을 모두 기억하고 대화 맥락을 계속해서 이어나갔다. 예를 들어, 처음 명령어에 "주식 거래와 투자를 위한 온라인 중개 플랫폼"라고 한 뒤 다음 명령에서는 "해당 플랫폼"이라고만 말해도 해당 플랫폼이 주식 거래와 투자를 위한 온라인 중개 플랫폼이구나 하고 척척 알아듣는다.

처음 대화 내용 :