當 A/B 測試的結果不符預期的用戶行為時…

在一本講 A/B 測試 的書裡提醒著:當

所有證據都指向了測試方案,尤其關鍵指標與次級指標也明確了同一個問題:『測試結果不符合預期及用戶行為』。
遇到這種情況時,應立即中止實驗,還原實驗組的體驗,同時思考假設是否存在繼續探索的價值。

從設計角度來說,你應遏制自己優化『失敗』設計的衝動。額外的優化調整難以扭轉失敗的結果,通常代價昂貴,且沒有成效。
此時最好重新構思設計,看看是否真的無力扭轉了,或放棄該假設,考慮效果更優的假設。

對設計師來說 (嚴格來說,所有創作者都是如此,包括工程師),承認自己的實驗假設是錯的是一件不容易的事,但為了整體的益處,必須這麼做。

但我不建議憑設計師 (即創作者) 的良心行事,讓設計師自主中止實驗。我認為必須在流程中設置檢核機制,讓指標足夠透明,並且,實驗團隊有討論的時間和空間,最後做出下一步的判斷。

我知道,這中間最艱難的,就是:到底何時該暫停。

因為主事者通常都有一個內心 OS:

或許再等一下數據就會『正常』了,再等一等吧!再等一等吧!

然而,這一下,通常都不會來。

發表迴響