避けるべき7つのA/Bテストエラー

A / Bテストは、あらゆるサイトのコンバージョン率を向上させるための最良のツールです（販売、サブスクリプション、またはその他の関心のあるアクション）。 任意のページの2つ以上のバージョンを作成した後、またはWebサイトに投稿した後、仮定ではなくデータを使用して、どちらが最適かを知ることができます。

しかし、理論は問題ありませんが、実践には注意してください。 ページのA/Bテストを開始する前に、幻想的な結果につながる可能性のある間違いをしないようにしてください。 それはあなたが絶対に避けなければならないお金と時間の無駄になるかもしれません。

A/Bテストを作成するときに避けるべき間違いを見てみましょう…

＃1異なる期間の比較

一定期間、任意のページでの訪問者の行動とコンバージョンを詳細に分析したくなる場合があります。 次に、Webに変更を加え、サイトの動作の詳細を再分析します。

このコンテキストでは、最初または2番目の期間でより良い結果が得られた場合、その期間にテストされたバージョンが他のバージョンよりも優れているためであると結論付けるのは非常に簡単です。

申し訳ありませんが、それはお勧めできません。 まず、Webサイトに到達するトラフィックの量と質は、数日から数週間の間で変化する可能性があります。 同じページで、ある日または週を15％、翌日または週を12％変換できます。

この変更は、Webサイトとはまったく関係のない要因（経済情勢、訪問者の気分など）が原因である可能性があります。 たとえば、口コミで広まるツイートのおかげで、Webサイトのトラフィックが増加します。 ただし、トラフィックの種類は質が低く、Webサイトに到達した後は、コンバージョンが少なくなります。 別の例：オファーを使用してGoogleで新しい広告を立ち上げ、その広告を介してWebサイトにアクセスし、コンバージョンに至った訪問者の割合が非常に高い場合。

したがって、これらすべての要因を考慮に入れる唯一の方法は、A / Bテストを実行することです。このテストでは、同じ期間中に各バリアントが比例した数の訪問者に表示されます。 同じ週に2つ（またはそれ以上）のバージョンを訪問者にランダムに表示することにより、結果が統計的に関連する可能性がはるかに高くなります。

したがって、テストの前後に行うことを忘れてください。どちらのバージョンが優れているかを判断するために結果がどの程度関連しているかがわからないためです。

＃2テストを早期に終了する

A / Bテストを実行する必要があることがわかったので、Nelio A / Bテストをインストールしたばかりで、最初のページのテストを開始できることに興奮しています。

結果の収集を開始すると、すぐにバリアントのコンバージョン数が元のページよりも多くなります。 なぜ時間を無駄にするのですか？ 簡単に変更して、新しいバリアントを永続的にしてみませんか？ これにより、コンバージョンがより速く増加します…

音量

A / Bテストは統計に基づいているため、サンプルサイズが重要であることに留意することが重要です。これは代表的なものである必要があります。 言い換えれば、現実を適切に反映するために、テストから十分な結果が得られていることを確認する必要があります。

Nelio A /BTestingなどの専用ツールを使用してA/Bテストを実行する場合、テスト結果が統計的に有意であるかどうかはツール自体から通知されます。

次に、トラフィックの多いWebサイトがあるため、最適な結果をすぐに得ることができると思うかもしれません。

間隔

気を付けて！ A/Bテストを作成する際に考慮すべきもう1つの要素があります。 それは量の問題であるだけでなく、あなたのテストがあなたのビジネスのサイクルをカバーするのに十分長く続くことを確認してください。 つまり、たとえば、受信するトラフィックのタイプが平日と週末で異なる場合は、すべてのタイプのトラフィックのテストが最小期間続くことを確認してください。

結果を統計的に有意にするためにA/Bテストに必要な期間とサイズをもう少し詳しく調べるには、CXL計算機をお勧めします。

覚えておいてください：事前に結論を出すことは、直感によって決定を下すことと同じです。

＃3テストの終了が遅すぎる

次に、もう一方の極端な例に進みます。テストを開始したばかりで、さまざまな結果が得られています。 すぐに結論を出すことはできないことを知っているので、決定的なデータが得られるまで待たなければならないと決めますよね？ 日が経ち、他のバリエーションよりも明らかに優れていると思われるバリアントはないので、待たなければならないかもしれません…

さて、私たちはすでにそれを急がないように言いました、しかしあなたが決定的な結果なしで3ヶ月経ったならば、あなたはおそらくあなたの時間を無駄にしているでしょう。 そして、変換を最適化する方法についてはるかに関連性の高い情報を提供する可能性のある他のタイプのテストを見逃しているという単純な理由で、それを無駄にしています。

＃4他人のテストに頼る

私たちは他の人から学ぶことができ、また学ぶべきですが、他の人の統計データが必ずしもあなたのウェブサイトに当てはまるとは限りません。 つまり、最も効果的な召喚状ボタンの色が赤であるとコメントしている記事を読んだことがあるかもしれません。

理論は非常に優れていますが、実際には、最初にWebサイトでテストしない限り、この結果が役立つとは判断できません。 他の人の事例研究は、あなたの特定の事例について決定を下すのに役立ちません。 それらは、あなたが何をテストできるかについての新しいアイデアを持っているのに役立ちます。

＃5実行中のテストの変更

おそらく、WebサイトでABテストを開始した後に犯す可能性のある最悪の間違いの1つは、それを停止し、特定の変更を加えて、再開することです。 せいぜい、検出した小さなタイプミスを修正しますが、新しいバリアントを作成したり、すでに実行されているバリアントを変更したりしないでください。 これらの変更により、得られた結果が完全に無効になる可能性があります。

実行中のA/Bテストに変更を加えたい場合は、完全に停止して新しいテストを実行してください。 2つのテストを別々に行うと、有効な結果が得られます。 必要に応じて、両方の結果を一緒に解釈してみてください。ただし、実行中のA / Bテストに変更を加えると、信頼できる結果を得ることができないことに注意してください。

＃6多くのテストを同時に実行する

A/Bテストであなたの生活をシンプルに保ちましょう。 一度に多くの変更を分析しようとすると、各テストの結果を解釈するのが特に困難になります。 根本的に異なるバージョンを表示するページの2つ以上のバリアントを作成できます。 これを行っても問題ありません。実際、大きな変更がコンバージョンに大きな影響を与える可能性があることが調査されています。

ただし、多くのテストを同時に実行しようとしないでください。 作成する新しいテストごとに、トラフィックの新しい分割が、以前に作成されたものと一緒にバリアントのさまざまな可能な組み合わせに対して作成されます。 そして、正確に言えば、最終的にバリエーションが増えるほど、トラフィックが分割され、統計的に有意な結果を得るのにコストがかかります。

＃7テストの目的がわからない

そして、これはあなたが避けるべき最も重要な間違いであるべきです。

A / Bテストの目標は、変換を最適化することです。 わかった。 ここから、常識を適用します。 すべてのページと投稿はあなたのウェブサイトに目的があります：あなたが提供する製品とサービスについて知らせること、あなた自身を知らせること、製品またはサービスがどのように機能するかについての詳細を説明すること、あなたがデータ保護法を遵守することを確実にすることなど。それらはすべて重要ですが、変換ファネルではさらに重要なものもあります。

たとえば、eコマースを利用している場合、最も関連性の高いページは、すべての商品を表示するページ、商品の詳細を表示するページ、および支払い購入が行われるページになります。 したがって、最初に、他のページを分析して混乱しないで、これらのページの最適化に集中してください。

また、それぞれの中で最も重要な目的についてよく考えてください。

• 訪問者にその製品を購入させます。
• 訪問者にその商品をウィッシュリストまたはショッピングカートに追加させます。
• 他の関連製品を見てもらいます。
• それらの製品の購入を第三者に推奨するため。
• 詳細については、お問い合わせください。

あなたの目標をよく特定し、どのような改善があなたがそれらを達成するのを助けることができるかについて考えてください。 そこから、あなたが信じるテストは理にかなっていて、あなたのウェブサイトを改善するのを助けるでしょう。

UnsplashのSarahKilianによる注目の画像。