제품 업데이트 하기 전 PM이 반드시 체크해야 하는 것들
Change aversion : "내가 맨날 사용하는 제품 좀 그냥 놔둬!"
사람은 대개 변화를 두려워하죠. 익숙한 것을 좋아하고 편안해하구요. 어느날 아침 출근하니 매일 사용하던 업무용 툴의 디자인이 하루 아침에 확 바뀌어 있다고 상상해 보세요. "와 엄청 예뻐졌네. 엄청 사용하기 편해졌겠어!"라는 생각보다는 "아 이제서야 좀 익숙해졌는데 또 바뀌었어? 아 그 XX메뉴는 어딨는거야? 바빠죽겠는데 하나씩 다 눌러봐야 하나?"와 같은 반응일 거에요.
얼마 전에 저도 업무 중에 같은 경험을 했습니다. 이번엔 제가 '사용자'가 아닌 그 변화를 주도한 '제품팀'이었다는 점이 다르지만요. 모든 맥락을 설명하자면 엄청 길기에 간단히 요약하자면 : "사용자들의 불편한 점을 개선하고자 새로 디자인한 제품을 프로토타입 테스트, 알파테스트, 베타테스트를 거치며 신중하게 테스트했고 마지막에는 78%의 만족도(기준선은 65%였음)를 확인하였기에 '성공'을 확신했던 제품 업데이트였습니다. 하지만 큰 규모의 사용자에게 릴리즈를 하기 시작하면서 이 만족도는 급감하였습니다. 처음엔 25% 수준까지 떨어졌죠. PM으로서 실망이 컸습니다. 하지만 이 만족도를 매일 측정하다보니 조금씩 높아지는 게 보였습니다. 2주가 지난 지금은 50% 이상까지 올라왔죠. 사용자들의 피드백을 확인해보면 '이전께 더 좋다', '왜 바꿨냐', '불편하다' 와 같은 피드백이 다수였습니다. 구체적으로 무엇이 불편하다 라는 내용보다는 그냥 불편하다, 이전 것이 더 편하다 라는 의견들이 많았죠."
사용자들은 갑작스런 변화를 불편하게 느낍니다. 익숙한 것이 편하고 안전하다고 느끼죠. 사실 이번엔 고객 만족도가 초기에 떨어질 것이라는 것은 예상하던 일이었습니다. 이전에 어느 정도 유사한 경험을 한 적이 있었고, 첨부한 링크와 같은 자료를 읽으면서 이것이 자연스러운 일임을 미리 알고 있었기 때문입니다. 첨부된 링크에서는 이러한 현상을 'change aversion(변화를 싫어하는 것)'이라는 용어로 사용하고 있습니다.
작은 변화를 적용하는 A/B 테스트라면 굳이 이런 걱정은 하지 않아도 될 것입니다. 하지만 어느 정도 큰 규모의 변화를 적용하는 케이스이고, 정량적인 데이터 뿐 아니라 정성적인 데이터(사용성, 만족도 등)의 중요성도 큰 변화/실험을 계획하고 있다면 첨부한 링크를 한 번쯤 꼭 읽어보시길 바랍니다. 변화의 레벨에는 어떤 것이 있고, 어떤 경우에 큰 change aversion을 예상할 수 있고, 패턴(사용자의 반응)에 따라 어떻게 대응을 해야 할지도 알려줍니다. Change aversion을 줄이기 위한 여러가지 방법도 설명해주고 있구요.
Change aversion은 인간으로서 자연스러운 일입니다. 그렇기에 완전히 피할 순 없어도 최소화 할 수는 있습니다. 첨부된 링크 한 번 읽어보세요. 나중에 피가 되고 살이 될 내용이라 생각합니다. 저만해도 당장 '지금' 경험하고 있는 것이니까요.
* 궁금해 하실까봐 첨언하자면, 베타 테스트 시 change aversion을 확인하지 못했던 이유는 사용자들이 이미변화가 올 것을 알고 있었기 때문이죠. 테스트를 자발적으로 신청한 것이니까요. 그리고 일단 새 디자인의 제품을 사용해보고 원하지 않으면 베타 테스트에서 나갈(opt-out) 수 있도록 구성을 해놓았었습니다. 지금 진행하고 있는 '릴리즈'는 opt-out이 불가능한 일괄 변경이기 때문에 저항이 더 큰 것이라고 보구요.
