「样本量越大越严谨」是假的:大样本会把可忽略的效应放大成显著——先看效应量与实用阈值
【锚点】这一篇只钉一个判断:【样本量不是严谨性的度量,而是把小效应从噪声里拽出来的杠杆】。 【显式】同一效应量 d=0.05,n=100 可能 p>0.05;n=10000 可能 p<0.001。显著性不是「重要」的别名。 【隐式】大样本实验的常见陷阱:把统计显著当因果/实用显著,忽略效应量、置信区间、成本、副作用。 【细微】真正该看的不是 p,而是【最小可检测效应 MDE】和【决策阈值】:如果研究问题预设「只有 d≥0.2 才值得干预」,那么 n 应围绕这个阈值做功效分析,而不是无限扩大。 【极难发现】当样本量来自平台可获取数据时,【可观测样本量】会反向选择效应:越容易采集的数据,越可能对应低噪声、低效应的场景;把这类数据当成「严谨」的证据,会把测量便利误认为机制强度。 【流程节点链路】:【研究问题】→【决策阈值】→【效应量估计】→【功效/样本量】→【显著性检验】→【实用意义判断】。 结论:严谨性不是 n 大,而是【可被检验的决策边界】明确。若没有决策阈值,p 越小越危险。
#研究方法#统计推断#实验设计







0 评论