피해야 할 7가지 A/B 테스트 오류

A/B 테스트는 모든 사이트(판매, 구독 또는 기타 관심 있는 작업)의 전환율을 향상시키는 최고의 도구입니다. 웹사이트의 페이지나 게시물에 대해 두 개 이상의 버전을 만든 후에는 가정이 아닌 데이터로 어느 것이 가장 효과적인지 알 수 있습니다.

그러나 이론은 훌륭하지만 실습을 조심하십시오. 페이지의 A/B 테스트를 시작하기 전에 잘못된 결과로 이어질 수 있는 실수를 하지 않도록 하십시오. 그것은 결국 당신이 어떤 희생을 치르더라도 피해야 하는 돈과 시간 낭비가 될 수 있습니다.

A/B 테스트를 생성할 때 피해야 할 실수가 무엇인지 알아보자…

#1 다른 기간 비교

일정 기간 동안 페이지에서 방문자의 행동과 전환을 자세히 분석하고 싶을 수 있습니다. 그런 다음 웹을 변경하고 사이트에서 동작의 세부 사항을 다시 분석하십시오.

이러한 맥락에서 첫 번째 또는 두 번째 기간 동안 더 나은 결과를 얻었다면 그 기간 동안 테스트한 버전이 다른 기간보다 더 우수하기 때문이라고 결론을 내리기가 매우 쉬워 보입니다.

좋은 생각이 아니라고 말씀드리게 되어 죄송합니다. 우선 귀하의 웹사이트에 도달하는 트래픽의 양과 품질은 며칠에서 몇 주 사이에 달라질 수 있습니다. 같은 페이지는 하루 또는 일주일에 15%, 다음 날 또는 일주일에 12%를 변환할 수 있습니다.

이러한 변화는 귀하의 웹사이트와 전혀 관련이 없는 요인(경제적 환경, 방문자의 기분 등)으로 인한 것일 수 있습니다. 예를 들어, 입소문을 타는 트윗 덕분에 웹사이트의 트래픽이 증가합니다. 그러나 트래픽 유형은 품질이 낮고 웹사이트에 도달한 후 전환율이 낮습니다. 또 다른 예: Google에 새 광고를 게재하고 광고를 통해 웹사이트를 방문한 다음 전환하는 방문자의 비율이 매우 높습니다.

따라서 이러한 모든 요소를 ​​고려하는 유일한 방법은 각 변형이 동일한 기간 동안 비례하는 방문자 수에 표시되는 A/B 테스트를 수행하는 것입니다. 같은 주에 방문자에게 두 가지(또는 그 이상) 버전을 무작위로 표시하면 결과가 통계적으로 관련이 있을 확률이 훨씬 더 높아집니다.

따라서 어떤 버전이 더 나은지 결정하는 데 결과가 얼마나 적절한지 확실히 알 수 없으므로 전후 테스트를 수행하는 것을 잊어버리십시오.

#2 테스트를 일찍 끝내기

이제 A/B 테스트를 수행해야 한다는 것을 알았으므로 Nelio A/B Testing을 설치했으며 첫 페이지 테스트를 시작하게 되어 기쁩니다.

결과 수집을 시작하고 빠르게 변형이 원본 페이지보다 더 많은 전환을 갖기 시작합니다. 왜 시간을 낭비합니까? 빠르게 변경하고 새 변형을 영구적으로 만들지 않겠습니까? 이렇게 하면 전환이 더 빨리 증가합니다…

용량

A/B 테스트는 통계를 기반으로 하므로 표본 크기가 중요하며 대표성이 있어야 한다는 점을 명심하는 것이 중요합니다. 즉, 테스트에서 현실을 적절하게 반영하기 위해 테스트에서 충분한 결과를 얻었는지 확인해야 합니다.

Nelio A/B Testing과 같은 전문 도구를 사용하여 A/B 테스트를 수행하는 경우 도구 자체에서 테스트 결과가 통계적으로 유의한지 알려줍니다.

그러면 트래픽이 많은 웹 사이트가 있으므로 가장 잘 작동하는 웹 사이트에서 신속하게 결과를 얻을 수 있다고 생각할 수 있습니다.

지속

조심해! A/B 테스트를 생성할 때 고려해야 할 또 다른 요소가 있습니다. 볼륨의 문제일 뿐만 아니라 테스트가 비즈니스 주기를 포괄할 수 있을 만큼 충분히 오래 지속되는지 확인하십시오. 즉, 예를 들어 수신하는 트래픽 유형이 주중과 주말에 다른 경우 모든 유형의 트래픽에 대해 최소 기간 동안 테스트가 지속되는지 확인하십시오.

A/B 테스트가 통계적으로 유의미한 결과를 얻기 위해 가져야 하는 기간과 크기를 조금 더 탐색하려면 CXL 계산기를 사용하는 것이 좋습니다.

기억하십시오: 미리 결론을 내리는 것은 직관으로 결정을 내리는 것과 같습니다.

#3 테스트를 너무 늦게 끝내기

이제 우리는 다른 극단으로 갑니다. 방금 테스트를 시작했고 다른 결과를 얻고 있습니다. 너무 빨리 결론을 내릴 수 없다는 것을 알기 때문에 결정적인 데이터를 얻을 때까지 기다려야 한다고 결정했습니다. 그렇죠? 며칠이 지나고 어떤 변형도 다른 변형보다 분명히 나은 것 같지 않으므로 계속 기다려야 할 수도 있습니다...

글쎄, 우리는 이미 서두르지 말라고 말했지만 결정적인 결과 없이 3개월을 보냈다면 아마도 시간을 낭비하고 있는 것입니다. 그리고 전환을 최적화하는 방법에 대해 훨씬 더 관련성 높은 정보를 제공할 수 있는 다른 유형의 테스트를 놓치고 있다는 단순한 이유로 시간을 낭비하고 있습니다.

#4 다른 사람의 테스트에 의존하기

우리는 다른 사람들로부터 배울 수 있고 배워야 하지만 다른 사람들의 통계 데이터가 귀하의 웹사이트에 반드시 적용되는 것은 아닙니다. 즉, 가장 잘 작동하는 클릭 유도문안 버튼의 색상이 빨간색이라는 기사를 읽었을 것입니다.

이론은 매우 훌륭하지만 웹사이트에서 먼저 테스트하지 않고는 이 결과가 유용할 것이라고 결정하지 않는 것이 현실입니다. 다른 사람들의 사례 연구는 귀하의 특정 사례에 대한 결정을 내리는 데 유용하지 않습니다. 그것들은 당신이 테스트할 수 있는 것에 대한 새로운 아이디어를 갖는 데 유용할 것입니다.

#5 실행 중인 테스트 변경

웹사이트에서 AB 테스트를 시작한 후 저지를 수 있는 최악의 실수 중 하나는 테스트를 중지하고 특정 변경을 수행한 다음 다시 시작하는 것입니다. 기껏해야 감지한 작은 오타를 수정하지만 새 변형을 만들거나 이미 실행 중인 변형을 변경하지 마십시오. 이러한 변경은 얻은 결과를 완전히 무효화할 수 있습니다.

실행 중인 A/B 테스트를 변경하고 싶은 상황에 처했다면 완전히 중지하고 새 테스트를 실행하세요. 두 가지 테스트를 별도로 수행하면 유효한 결과를 얻을 수 있습니다. 원한다면 둘 다의 결과를 함께 해석하려고 시도하지만 실행 중인 A/B 테스트를 변경하면 신뢰할 수 있는 결과를 얻을 수 없다는 점에 유의하십시오.

#6 많은 테스트를 동시에 실행하기

A/B 테스트로 삶을 단순하게 유지하십시오. 한 번에 너무 많은 변경 사항을 분석하려고 하면 각 테스트의 결과를 해석하기가 특히 어렵습니다. 근본적으로 다른 버전을 표시하는 페이지의 두 개 이상의 변형을 만들 수 있습니다. 이렇게 해도 괜찮고, 실제로 큰 변경 사항이 전환에 더 큰 영향을 미칠 수 있다는 연구 결과가 있습니다.

그러나 동시에 많은 테스트를 수행하려고 하지 마십시오. 새로운 테스트를 생성할 때마다 이전에 생성된 것과 함께 다양한 변형 조합에 대한 새로운 트래픽 분할이 생성됩니다. 그리고 정확하게 변형이 많을수록 트래픽이 더 많이 분할되고 통계적으로 유의미한 결과를 얻는 데 더 많은 비용이 듭니다.

#7 테스트의 목적을 모르는 경우

그리고 이것은 피해야 할 가장 중요한 실수입니다.

A/B 테스트의 목표는 전환을 최적화하는 것입니다. 괜찮아. 여기에서 상식을 적용하십시오. 모든 페이지와 게시물은 귀하가 제공하는 제품 및 서비스에 대해 알리고, 자신을 알리고, 제품 또는 서비스가 작동하는 방식에 대한 세부 정보를 설명하고, 데이터 보호법을 준수하는지 확인하는 등 귀하의 웹사이트에 목적이 있습니다. 모두 중요하지만 일부는 전환 유입경로에서 훨씬 더 중요합니다.

예를 들어 전자 상거래가 있는 경우 가장 관련성이 높은 페이지는 모든 제품을 보여주는 페이지, 제품의 세부 정보를 보여주는 페이지, 지불 구매가 이루어진 페이지입니다. 따라서 우선 다른 페이지를 분석하여 얽매이지 말고 이러한 페이지를 최적화하는 데 집중하십시오.

또한 각각의 가장 중요한 목표에 대해 잘 생각하십시오.

• 방문자가 해당 제품을 구매하게 하십시오.
• 방문자가 해당 제품을 위시리스트나 장바구니에 추가하도록 하십시오.
• 다른 관련 제품을 살펴보게 합니다.
• 해당 제품의 구매를 제3자에게 권장합니다.
• 자세한 내용은 귀하에게 연락하십시오.

목표를 잘 파악하고 목표 달성에 도움이 될 개선 사항에 대해 생각하십시오. 거기에서 당신이 믿는 테스트가 의미가 있고 웹 사이트를 개선하는 데 도움이 될 것입니다.

Unsplash에서 Sarah Kilian의 추천 이미지.