你應該避免的 7 個 A/B 測試錯誤

已發表: 2020-04-14

A/B 測試是提高任何網站(銷售、訂閱或您可能感興趣的任何其他操作)轉化率的最佳工具。 在您的網站上創建任何頁面或帖子的兩個或多個版本後,您可以通過數據而不是假設知道哪一個效果最好。

ab測試
在最簡單的形式中,A/B 測試建議將網站的流量隨機分成兩組,以便 50% 的訪問者看到 A 設計,而另外 50% 看到 B 設計。 通過監控每組用戶的反應,我們可以計算每組的轉化率,如果兩者之間存在統計學顯著差異,則宣布獲勝者設計。

但是,雖然理論很好,但要注意實踐。 在開始對頁面進行 A/B 測試之前,請確保您不會犯可能導致錯誤結果的錯誤。 這最終可能會浪費金錢和時間,您應該不惜一切代價避免。

讓我們看看在創建 A/B 測試時應該避免哪些錯誤……

#1 比較不同的時間段

在一段時間內詳細分析訪問者在任何頁面上的行為和轉換可能很誘人。 然後,對網絡進行更改,並重新分析您網站上的行為細節。

在這種情況下,似乎很容易得出結論,如果您在第一個或第二個時間段內獲得了更好的結果,那是因為在此期間測試的版本比另一個更好。

女人說其實的 GIF

好吧,我很抱歉告訴你這不是一個好主意。 首先,到達您網站的流量的數量和質量可能會在幾天和幾週之間發生變化。 同一頁面可以在一天或一周轉換 15%,在第二天或一周轉換 12%。

這種變化可能是由於與您的網站完全無關的因素(經濟氣候、訪問者的情緒等)造成的。 例如,多虧了一條病毒式的推文,您可以增加您網站上的流量。 但是這種類型的流量質量較差,到達您的網站後,它的轉化率較低。 另一個例子:您在 Google 上發布了一個帶有優惠的新廣告,通過該廣告訪問您的網站並進行轉化的訪問者的百分比非常高。

因此,考慮所有這些因素的唯一方法是執行 A/B 測試,其中每個變體在同一時間段內顯示給成比例的訪問者。 通過在同一周內向訪問者隨機顯示兩個(或更多)版本,結果具有統計相關性的可能性要大得多。

所以忘記做之前和之後的測試,因為你不確定結果與決定哪個版本更好的相關性。

#2 儘早完成測試

現在您知道必須進行 A/B 測試,您剛剛安裝了 Nelio A/B 測試,並且很高興啟動您的第一個頁面測試。

一個男人說 OMG 我等不及的 Gif

您開始收集結果,很快變體開始獲得比原始頁面更多的轉化。 為什麼要浪費時間? 為什麼不進行快速更改並讓新變體永久化? 這將更快地提高轉化率……

體積

A/B 測試基於統計數據,因此,請務必記住您的樣本量很重要——它必須具有代表性。 換句話說,我們必須確保我們從測試中獲得了足夠的結果,以便測試能夠充分反映現實。

如果您使用專門的工具來執行 A/B 測試,例如 Nelio A/B 測試,該工具本身會通知您您的測試結果是否具有統計意義。

Nelio A/B 測試中的測試結果
Nelio A/B 測試中的測試結果

然後你可能會想,既然你有一個流量很大的網站,你會很快從最有效的方法中得到結果。

期間

小心! 在創建 A/B 測試時,還有一個需要考慮的因素。 這不僅是數量問題,而且要確保您的測試持續足夠長的時間以覆蓋您的業務週期。 也就是說,例如,如果您在工作日和周末收到的流量類型不同,請確保測試持續的最短時間段代表所有類型的流量。

我建議您使用 CXL 計算器​​來探索 A/B 測試應該具有的持續時間和大小,以使其結果具有統計顯著性。

請記住:提前得出結論與憑直覺做出決定是一樣的。

#3 太晚結束測試

現在我們走到另一個極端:你剛剛啟動了一個測試,你得到了不同的結果。 既然你知道你不能很快得出結論,你決定你必須等到你得到確鑿的數據,對吧? 日子一天天過去,似乎沒有哪個變種明顯比其他變種更好,所以也許你必須繼續等待……

好吧,我們已經說過不要急於求成,但如果你已經三個月沒有確定的結果,那你可能是在浪費時間。 您正在浪費它,原因很簡單,您錯過了其他類型的測試,這些測試可能會為您提供有關如何優化轉換的更多相關信息。

#4 依賴他人的測試

我們可以也應該向他人學習,但恐怕他人的統計數據不一定適用於您的網站。 也就是說,您可能已經閱讀過一些文章評論說最有效的號召性用語按鈕的顏色是紅色。

某人點擊紅色按鈕的 GIF

理論非常好,但現實情況是,如果不先在您的網站上進行測試,您不會決定此結果是否有用。 其他人的案例研究對您的特定案例做出決定沒有幫助。 它們將有助於您對可以測試的內容有新的想法。

#5 更改運行測試

在您的網站上啟動 AB 測試後,您可能犯的最嚴重的錯誤之一就是停止它、進行某些更改並恢復它。 充其量,修復您檢測到的小錯字,但不要創建新變體或更改已經運行的變體。 這些更改可能會使獲得的結果完全無效。

如果您發現自己想要對正在運行的 A/B 測試進行更改,請完全停止它並運行新的測試。 這兩個測試分別會給你有效的結果。 如果您願意,請嘗試同時解釋兩者的結果,但請注意,如果您對任何正在運行的 A/B 測試進行更改,您將無法獲得可靠的結果。

#6 同時運行多個測試

使用 A/B 測試讓您的生活變得簡單。 如果你試圖一次分析太多的變化,你會發現解釋每個測試的結果特別困難。 您可以創建顯示完全不同版本的頁面的兩個或多個變體。 這樣做是可以的,事實上,研究表明,重大變化會對轉化產生更大的影響。

但是,不要嘗試同時執行多個測試。 對於您創建的每個新測試,將針對不同可能的變體組合以及先前創建的變體創建新的流量劃分。 確切地說,您最終擁有的變體越多,您的流量就會越多,您獲得具有統計意義的結果的成本就越高。

#7 不知道測試的目的

這應該是你應該避免的最重要的錯誤。

A/B 測試的目標是優化轉換。 好的。 從這裡開始,運用常識。 所有頁面和帖子在您的網站上都有一個目的:告知您提供的產品和服務,讓您了解自己,解釋有關產品或服務如何運作的詳細信息,確保您遵守數據保護法等。儘管它們都很重要,但其中一些在轉化漏斗中更為關鍵。

例如,如果您有電子商務,最相關的頁面將是顯示所有產品的頁面、顯示產品詳細信息的頁面以及進行付款購買的頁面。 因此,首先,不要糾結於分析其他頁面,而是專注於優化這些頁面。

另外,請仔細考慮每個目標中最重要的目標:

  • 讓訪客購買該產品。
  • 讓訪問者將該產品添加到願望清單或購物車中。
  • 讓他們看看其他相關產品。
  • 向第三方推薦購買這些產品。
  • 與您聯繫以獲取更多信息。

很好地確定您的目標,並考慮哪些改進可以幫助您實現這些目標。 從那裡開始,您認為有意義的測試將有助於改進您的網站。

莎拉·基利安 (Sarah Kilian) 在 Unsplash 上的精選圖片。