ABテストに関する某氏の助言

分野違いすぎてよくわからんが、言っていることは正しい（はず）

[6:54 PM]
A/B テストをやっているのですが、A/A も同時にやっていて、A1/A2/B の3つのグループのデータがあります。
サンプルサイズはアホなほどあり、A/A でもすべてのデータを使うと有意差が出ます。
このとき、3グループから同じだけサンプルサイズをとってきて、A/A では有意差なし、A/B では有意差ありみたいにしたいのですが、どういう方法があるのでしょうか？p-hackingになるのでやらないほうがいいのでしょうか？

[9:32 PM]
まず検定は有意差なしを示すものではないので（有意差なしなら何も言えない）、「A/Aでは有意差なしを示したい」というのがすでに検定のフレームワークではないですね。
仮にA/AもしくはA/Bの両方を考慮して有意差を示したいとかならば、closed procedure（閉手順）などでα漏れないで（p-hackingにならないで）検定することができます。多重検定とかと似た感じ。
あと検定の枠組みならば、あらかじめ使用するサンプルサイズは決めておかないといけない。全データや一部をあとから選ぶ時点で検定ではないので、やめた方がよさそうです。特にあるデータをすべて使わずに一部だけ使うのは×。