Gunosy MLチームでのABテストの設計と運用 - Gunosyデータ分析ブログ
こんにちは、Gunosy Tech LabのMLチームでマネージャーをしている id:skozawa です。 今日はMLチームで取り組んでいるABテストの設計と運用について紹介したいと思います。MLチームはプロダクト横断のチームです。メンバーはグノシー、ニュースパス、LUCRAなどのプロダクトチームにも属しながら、開発を進めています。ABテストについては以前も少し書いたことがあり、基本方針は同じなのですが、横断チーム、ロジック開発だからこそある難しさもあり、そのあたりで少し工夫していることなどを書きたいと思います。 tech.gunosy.io ABテストの設計についてABテスト開始のために、タスク、KPI、拡大判断基準の設計をするようにしています。 タスク設計 仮説を立て、タスクのゴールを設定します。 ここでは、controlとtreatmentの差分を明確にすることと、contr
