ch3-3 外部妥当性・セグメント・解釈の罠

プライマシー効果

プライマシー効果（primacy effect） とは、 変更直後はユーザーが古い仕様に慣れているために、新機能の採用に時間がかかる 現象である。最初は効果が出にくく、ユーザーが慣れるにつれて徐々に効果が立ち上がる。加えて、機械学習アルゴリズムの場合、より良いモデルを学習できるとしても、 モデルの更新サイクル次第では、その効果が出揃うまでに時間がかかる 。

ノベルティ効果

ノベルティ効果（novelty effect、新規性効果） は、 持続しない効果 のことである。新しい機能、とりわけ目を引く機能を導入すると、最初はユーザーが珍しさにつられて試す。しかし、その機能に本当の有用性がなければ、リピート利用は伸びない。結果として、 導入直後はうまくいっているように見えても、時間が経つと効果が急速にしぼむ 。

ノベルティ効果の好例が、『Yes!: 50 Scientifically Proven Ways to Be Persuasive』（Goldstein, Martin and Cialdini 2008）に出てくる逸話である。Colleen Szot は、20 年間破られなかったホームショッピング番組の販売記録を、 決まり文句のたった 3 語を変えるだけ で塗り替えた。おなじみの「オペレーターが待機しています、今すぐお電話ください（Operators are waiting, please call now）」を、「オペレーターが混雑している場合は、もう一度お電話ください（If operators are busy, please call again）」に変えたのである。これは 社会的証明（social proof） の働きだと説明される。視聴者は「電話がつながりにくいなら、自分と同じようにこの番組を見て電話している人が大勢いるのだろう」と考えたわけである。ただし、こうした仕掛けは、 常用されているとユーザーに気づかれると有効期間が短くなる 。コントロール実験で見れば、分析するそばから効果が薄れていく典型例である。

別の例を見る。MSN の Web サイトのトップには、図 3.2 のようなストライプ（リンク帯）があった（Dmitriev et al. 2017）。

Microsoft はこの Outlook.com のリンクとアイコンを変更し、クリックすると Outlook メールアプリを直接開く ようにした（図 3.3）。

予想どおり、介入群では対照群よりも多くのユーザーがメールアプリを使った。ところが予想外だったのは、 CTR（クリック率）が +28% という非常に大きな増加 を示したことである。「ユーザーはメールアプリを気に入って、より頻繁に使うようになったのか」と解釈したくなる。しかし調査の結果、真相はまったく逆だった。 ユーザーは Outlook.com が（ブラウザで）開かないことに戸惑い、リンクを何度も繰り返しクリックしていた のである。つまり +28% は満足ではなく混乱の表れであり、典型的なノベルティ（というより一時的な戸惑い）由来の見かけ上の増加だった。

さらに極端な例として、中国のスニーカーメーカー Kaiwei Ni は、図 3.4 のように 携帯画面に偽の抜け毛を表示する Instagram 広告 を出した。ユーザーは画面の「髪の毛」を払いのけようとスワイプし、その動作で誤って広告をクリックさせられた。ここではノベルティ効果（の悪用）が大きかったと思われる。なお、この広告は Instagram から削除されただけでなく、アカウントも無効化された（Tiffany 2017）。

プライマシー効果・ノベルティ効果の検出

これらを見抜く最も重要な手立ては、 介入効果を時間方向にプロットし、増減を観察する ことである。先の MSN の例では、図 3.5 のように、メールリンクをクリックするユーザーの割合が時間とともに明らかに減少していた。

標準的な実験分析では、 介入効果はどの時点でも一定 だと仮定している。しかし図 3.5 のような傾向は、その仮定が破れている 危険信号 である。こうした実験では、 効果がいつ安定するかを見極めるために、より長く走らせる必要がある 。そして、この例が示すように、長く回すことで「このアイデアは悪い」と十分に結論づけられることも多い。ただし、実験を長期化させるアプローチ自体にも注意が必要である（第 23 章参照）。

プライマシー効果・ノベルティ効果が疑われるときの追加の手段として、 最初の 1〜2 日に登場したユーザーだけに着目し、そのコホートに対する介入効果の時間変化をプロットする 方法がある。同じユーザー集団を時間方向に追うことで、効果が立ち上がるのか減衰するのかが際立つ。

Hulu での具体例 ：ホーム画面に派手な新演出（たとえば大きな自動再生プレビューや「NEW」バッジ）を加えると、初週は物珍しさで再生開始やクリックが跳ね上がりやすい。しかしノベルティ効果なら、数週間で元の水準へ戻る。逆に、新しい推薦モデルは、ユーザーの新しい行動ログがたまり、モデルが再学習されるまで真価を発揮しないことがあり、これはプライマシー効果として現れる。したがって、 新ランキングは初週の数字だけで判断せず、効果曲線が平坦になるまで観察し、できれば「初日コホート」を追跡する べきである。25% 以上視聴やリピート視聴といった、一時的な好奇心では動きにくい指標を併用することも有効である。

メトリクスのセグメントビュー

Bing のモバイル広告の CTR をモバイル OS 別に見ると、図 3.6 のように大きく異なっていた。

当初は「OS ごとにユーザーのロイヤルティや母集団が違うのだろう」というストーリーを描きたくなった。しかし調査の結果、違いの正体は クリックトラッキングの方法差 だった。計測法によって精度が異なる（Kohavi, Messner et al. 2010）。iOS と Windows Phone はクリック計測にリダイレクトを使っており、精度は高いがユーザー体験に影響する。Android は Web ビーコンを使い、ブラウザは目的ページへ素早く遷移するが、 一部のビーコンが間に合わず欠損が大きい 。これで iOS と Android の CTR 差は説明できる。

では、なぜ Windows Phone の CTR はこれほど高かったのか。さらに調べると、リダイレクトに加えて、 ユーザーのスワイプが誤ってクリックとして記録されるバグ があった。バグは起こり得るものなので、 異常なデータを見たら、トワイマンの法則を念頭に原因を調査すべき である。

Hulu での具体例 ：再生開始率や CTR をデバイス別（iOS / Android / TV アプリ / Web）に切ると、しばしば大きな差が出る。しかしその差は、視聴意欲の本質的な違いではなく、 各プラットフォームでイベント送信の実装やビーコンの欠損率が違うこと に由来する場合がある。OS 別の差を見たら「ユーザー特性の物語」を作る前に、まず計測経路の違いを疑うのが堅実である。

介入効果のセグメントビュー（ヘテロジニアスな介入効果）

ある実験で UI を変更したところ、 ブラウザセグメント間で非常に強い差 が出た。ほぼすべてのブラウザで介入効果は主要メトリクスにわずかな正の改善だったのに、 Internet Explorer 7 のセグメントだけは強い負の効果 を示した。強い効果（正でも負でも）が出たら、ここでもトワイマンの法則を発動して原因を掘り下げる。調査の結果、使っていた JavaScript が IE7 と非互換で、特定の状況でリンクをクリックできないエラーが起きていたと判明した。

このような洞察は、 セグメントへのドリルダウンを行ってこそ 得られる。セグメントごとに異なる介入効果は、統計学で 条件付き平均介入効果（CATE、Conditional Average Treatment Effects） と呼ばれる（ヘテロジニアスな介入効果の概観は EGAP 2018 が詳しい）。興味深いセグメントの特定や交互作用の探索には、決定木（Athey and Imbens 2016）やランダムフォレスト（Wager and Athey 2018）といった機械学習・統計手法も使える。

興味深いセグメントを実験者に自動で警告できれば、多くの洞察が得られる。ただし前述のとおり、 多数のセグメントを見ることは多重仮説検定なので、p 値の補正を忘れてはならない 。組織にとって A/B テストの実施は重要な一歩であり、全体の介入効果だけでなく、こうしたセグメントの情報まで提供することで、イノベーションを加速させる新しい洞察が得られる。

Hulu での具体例 ：新ランキングの効果を「TV アプリ／モバイル／Web」「新規／既存」「特定ジャンルの視聴者」で切ると、ある特定の古い OS バージョンやデバイスだけで強い負の効果が出ることがある。これはたいてい、そのデバイスでの描画バグや、特定の作品メタデータの欠損が原因である。セグメント分析は、こうした「全体平均に埋もれた不具合」を掘り当てる強力な道具である。

ワークド例：両セグメントとも平均が上がるのに、全体は変わらない

具体的な小さな数値で確かめる。対照群と介入群を比べる形で書く。

対照群（介入なし）のセグメント構成を次とする。

介入群では、機能 F の変更により、 セッション数 15 のユーザーが F の利用をやめて「F 非利用」へ移動 したとする。すると構成は次になる。

結果を比べると、 F 利用セグメントの平均は 18.75 から 20.0 へ上昇 し、 F 非利用セグメントの平均も 10.0 から 11.25 へ上昇 している。両方のセグメントで平均セッション数が増えたのである。ところが、 全体の合計セッション数も人数も変わっていない（105 / 7 = 15.0）ので、全体平均はまったく改善していない 。

からくりはこうである。F 利用セグメントからは「平均より低い 15」のユーザーが抜けたため、残った人の平均が押し上がる。一方、F 非利用セグメントには「もとの平均より高い 15」のユーザーが加わったため、こちらの平均も押し上がる。どちらの平均も上がるが、それは中身の入れ替えによる見かけであり、価値が増えたわけではない。条件次第で、全体のセッション数は上昇・下降・横ばいのいずれにもなり得る（Dmitriev et al. 2016, section 5.8）。

したがって、 ユーザーがセグメント間を移動するときは、セグメント別メトリクスの変化の解釈はミスリードになり得るので、セグメント化していない全体のメトリクスで介入効果を判断する 必要がある。理想は、 実験前に確定した値だけでセグメントを定義し、介入によってセグメントが変わらないようにする ことである。ただし実務では、実験の狙い次第でこの制約が難しいこともある。

Hulu での具体例 ：「特定の新しい棚 F を使ったユーザー」と「使わなかったユーザー」で視聴時間を比べるのは危うい。なぜなら、棚 F を使うかどうかは介入後の行動で決まり、 介入によってユーザーが二つのセグメント間を移動する からである。たとえば、ライトユーザーが新しい棚に流れて「F 利用」側に移れば、F 利用側の平均は下がり、F 非利用側（ヘビーユーザーが残る）の平均は上がる、という見かけが生じる。判断は、 割当時点で固定された属性（実験前の視聴量など）で切るか、セグメント化しない全体の介入効果で行う べきである。