ab-testing

A/B Test 看到「顯著結果」，就代表實驗有效、應該做出改變嗎？ 答案是：不見得！很有可能統計檢定力不足，造成實驗不可信。這篇文章將分享統計檢定力不足會造成什麼 A/B 測試問題，以及如何正確使用 Power Analysis 來分析你的顯著結果。

這篇文章將會探討 A/B Test 如何設定顯著水準來維持實驗可信程度，回答「從 0.05 改成 0.01 算是夠嚴格的 A/B Test 嗎？」。本文將介紹偽陽性率，它與顯著水準、統計檢定力、以及決策品質的關聯，並學習如何透過控制偽陽性率來為 A/B 測試結果選擇適當的顯著水準。

卡方檢定（Chi-square test）是分析類別型資料時最常用的無母數統計方法，這篇文章介紹資料科學家不得不知道的三大卡方檢定使用時機：多組別的 A/B 測試、評估二分類模型、以及機器學習模型特徵選擇，幫助你理解如何將卡方檢定應用於自己的研究和分析中。

A/B Test 要多少樣本數才夠？是什麼會影響所需樣本數？要用什麼數學公式來算樣本數？這則筆記將一次為你解答，不只說明樣本數計算的公式與假設、用 Python 如何計算，也將介紹「為什麼」這樣算的統計直覺，讓你不再害怕被其他人問「到底為什麼樣本數要這樣算？」。

進行假設檢定時，尤其是 A/B Test 的商業實驗場景，究竟該使用單尾還是雙尾檢定呢？這篇文章將簡短說明單尾與雙尾檢定的統計學特性差異，並且探討為何我建議 A/B 測試要使用單尾檢定，最後介紹單尾檢定常見的錯誤使用方法。

好奇心會殺死貓，也會害到你的 A/B Test 結果喔！這則筆記將分享執行 A/B 測試不得不知道的 Novelty 與 Primacy Effect 問題，讓你了解為什麼顧客的「好奇」與「守舊」傾向會影響 A/B Testing 判讀，並介紹怎麼解決這些問題。

看到有人中獎、不代表他特別幸運。這篇文章將從樂透彩的機率計算出發，和你分享什麼是多重檢定問題，他到底跟樂透、A/B Test、或者探索性資料分析有什麼關聯，並且介紹用來解決多重檢定問題的 Bonferroni 校正。

這篇筆記會教學比例資料的 A/B Testing 究竟該用什麼統計檢定，我將會介紹 Z 檢定與卡方檢定之間的關聯，以及什麼情況下這兩者都可以使用。我也分享了 R 語言程式碼，幫助你學會如何算出 Z 檢定與卡方檢定的 P-value。

A/A Test 是 A/B Test 上線執行以前的重要前置準備，這篇筆記將與你分享 A/A Test 檢測的兩個重要項目：流量隨機分配檢驗（Sample Ratio Mismatch）、以及偽陽性錯誤檢驗，並且附上Python 程式碼讓讀者能一起學習實作。

專門提供商業實驗的 Optimizely 研發 New Stats Enigine 來加速實驗流程、又能維持決策準確率。本文將介紹機率理論相似、但是更簡單的方法：Sequential A/B Testing，它不止允許偷看數據、需要的樣本數比標準假設檢定還少、檢驗甚至只需要加減法！