AB 实验
1275 字约 4 分钟
2026-05-20
1-1 什么是AB 测试
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image589.png
这些说到底就是比较，得到最佳选择。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image590.png
比如不同用户的优惠券力度不同，或者界面不一样。
1-2 AB 测试的基本流程
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image591.png
比如说我们是否要给慕课网加一个顶部banner 来给出优惠
券什么的，要测试点击率看看效果如何。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image592.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image593.png
1-3 统计学基础：假设检验
怎么检验数据的可信度？这个就可以用假设检验。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image594.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image595.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image596.png
如果p 值小于0.05 则可以推翻源假设/零假设，也就是说硬币不公平。
1-4 练习：Python 计算点击率CTR
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image597.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image598.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image599.png
用户个数计算需要去重，时间是字符串不能直接减去，需要
转换类型。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image600.png
unique 是对去重且返回所有值，多加一个n 是去重后返回现
有个数。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image601.png
两个相除就行了，实验组也是如此。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image602.png
1-5 练习：Python 计算p 值
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image603.png
使用simple 方法即可抽样打乱。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image604.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image605.png
画一下正态分布图。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image606.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image607.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image608.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image609.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image610.png
2-1 什么是异常监测
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image611.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image612.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image613.png
也就是找出不符合标准/普遍规律的例外值。
2-2 练习：Python 孤立森林异常监测
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image614.png
边数越少的就是例外值，这边就是最右边的那个坏瓜。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image615.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image616.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image617.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image618.png
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image619.png
注意训练的数据需要是dataframe 也就是二维的。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image620.png
以下分别获取数据的得分和预测数据是否异常的判断。
：
14%20%E4%BD%BF%E7%94%A8AB%20%E5%AE%9E%E9%AA%8C%E8%BF%AD%E4%BB%A3%E5%8A%9F%E8%83%BD/image621.png