X運用 · 公開アルゴリズム · 番外編

自動凍結の仕組み。処分マニュアルを上から順に読む

凍結は、怒った担当者が押すボタンではありません。公開されたコードには、処分のマニュアルにあたるルールが丸ごと入っていました。どういう順で読まれて、何が引き金になるのかを、上から順に見ていきます。

あまり話題には登りませんが、実はXのオープンソースでは凍結などのペナルティ側に関しても記載があります。これがまた興味深い。

ということで、今回はおすすめの話ではありません。凍結の話です。

アカウントと投稿を自動で処分する判定ルールが、そのまま入っていました。何をしたらどうなるかが、1行ずつ書かれた表です。

しかもこのファイル、1行目に「運用中の設定から写したもの。最終同期は8月26日」と書いてあります。これまで読んできたのがプログラムの設計図だとすれば、こちらは現場で実際に使っている設定表の写しです。いつもより一段、本物に近い。

では、中身を見ていきます。ここから先の要約だけ読めば、要点は終わりです。

1. 凍結になるのは「操作が機械に見えた」とき

凍結の中心にある疑いは、たった1つです。「この操作、本当に人間がやってる?」

これを見分けるのが、この記事で何度も出てくる「モデル」です。大量のデータから見分け方を学んだ判定プログラムのことで、Xの中に何種類も動いています。

Xは、あなたの直近512件の行動を、時刻つきで並べて見ています。いいね、リプライ、投稿、フォロー、スクロール、クリック。何を書いたかは読みません。見ているのは手つきです。

たとえるなら、メトロノームです。人間の手つきは揺れます。ところが機械の手つきは揃う。数十件のいいねが一定間隔で並ぶ、通知が来た瞬間にいつも同じ速さでリプが飛ぶ、深夜も明け方もテンポが変わらない。この揺れの無さが、モデルの目に留まります(何をもって機械と見なすかの具体的な条件は、公開されていません)。

このモデルの判定を含めて、凍結まで行く道は5つあります。

  • 操作の手つきが機械そのもので、しかも人間らしさが見当たらない
  • リプライの出し方が機械的だと判定された。この経路だけは、人間らしさを見ません
  • 専門のモデルが「凍結」と名指しした。他人へのなりすまし、グループで示し合わせたスパム、通報の積み重なり、組織ぐるみの宣伝工作の発信源、の4つです
  • 児童安全に関わると判定された。永久凍結になるのはここだけです
  • Xの中の別のシステムから「この人を凍結して」と要求が来た

上の4つは、コードを読む限り、人が最後にチェックする工程を通りません。

512件の手つきを読むのは、1つ目と2つ目です。3つ目以降のモデルは、それぞれ別の材料を見ています。

2. 凍結の手前で止まる、本人確認

手つきが怪しいけれど、凍結の線までは届かない。その中間にいる人には、CAPTCHAやパズルが出ます。

  • ボットらしさの点数が、凍結の線の少し手前にいる場合
  • なりすましと集団スパムのモデルにも、「凍結」ではなく「確認」と判定する枠があります

3. 30日ラベルで止まるのは「中身が薄い」とき

こちらは手つきではなく、投稿そのものが見られています。

イメージとしては、こんな投稿です。AIに書かせたような文章を、毎日大量に流す。読んでも意味のない文字列を投げる。通知が出た瞬間に、用意しておいた定型文でリプを返す。流行りの投稿の下に、大勢が似たような文面でぶら下がる。

コードにある名前で並べると、こうなります。

  • AI生成っぽい投稿の量産
  • 意味のない文字列の投稿
  • 速すぎるリプライ
  • 同じような内容を大勢で投稿している(多数派投稿者)

この4つは30日のラベルです。組織ぐるみの宣伝工作の参加者にも同じラベルが貼られますが、その行にだけ期限の指定がありません。

処分は凍結より、ずっと軽い。ラベルが貼られると、フォロー外のおすすめから消えます。フォロー中のタイムラインには残る、と読めます。店頭の棚から下げられるけれど、常連には売っている状態です。

ただし消える範囲は2種類あります。アカウントに貼られれば、そのアカウントの投稿が対象。投稿に貼られれば、その1本だけです。速すぎるリプライを1本判定されて、アカウントごと沈むわけではありません。

4. 凍結より先に免除される人

  • 許可リストに入っている
  • フォロワー数が一定以上。いくつからかは非公開です
  • 信頼スコアが高い

この3つは、上の凍結条件のどれよりも先に読まれます。

読むときの注意

  • ラベルは免除ではありません。審査はモデルごとに別々に来るので、ラベルで済んだ人が、別の網で凍結になることはあります
  • なぜ凍結とラベルが分かれるのかというと、処分の重さがモデル単位ではなく、モデルが出す印の1つ1つに決められているからです。AI量産の印には、ラベルの行しか用意されていません
  • 「速すぎるリプライ」という名前は、2つの別の網にまたがります。投稿単位で見る網はラベル止まり、リプライを送る手つきのリズムを見る網は凍結まで行きます
  • 冒頭で触れた「運用中の設定」は、GrowthBookという、Xが運用しながら設定を差し替えるための仕組みのことです。ファイルの1行目に「GrowthBookの動的設定から写したもの」と明記されています
  • ただし写したあとに書き換えられていても、こちらからは分かりません。それと、フォロワー数の下限だけは同じファイルの中で「本番は別の値。これはモック」と注記され、わざとダミーに差し替えられています。「8月26日時点の写し」として読んでください

ここから下は、この表がどう動くのかの詳細です。

仕組みの全体。3つの部品でできている

3つの部品の図

部品は3つです。

1つ目は、冒頭に出てきた「行動の筆跡鑑定」をするモデルです。名前はBDSMで、行動検出のための時系列モデル、という意味の略です。直近512件の行動を時刻つきで読み、怪しければ印を貼ります。

2つ目は「処分の判定係」です。モデルから届いた付箋を、マニュアルに照らして、凍結・ラベル付け・本人確認のどれにするかを決めます。

3つ目は「実行係」で、決まった処分を実際に適用します。

ここで言葉を2つ決めておきます。モデルが貼るほうを「付箋」、処分として貼られるほうを「ラベル」と呼びます。

付箋は、モデルが「この人、AI量産くさい」と書いて貼っていく紙です。これ自体は処分ではありません。判定係が付箋を見て、初めて処分が決まります。ラベルは、その処分として貼られるものです。

ここで1つ、はっきりさせておきます。判定係がやるのは、裁判ではありません。表の突き合わせです。付箋の種類ごとに行き先があらかじめ決まっていて、当てはまった行をそのまま実行する。中身をもう一度吟味したり、程度を斟酌したりする工程はありません。迷いが入るのは付箋を貼るまでで、届いた後は機械的です。

この記事で読むのは、1つ目と2つ目です。特に2つ目のマニュアルが、そのまま公開されていました。

マニュアルは上から順に読む。だから順番に意味がある

処分の判定係は、空港の入国審査官のように動きます。手元にマニュアルがあり、上から順に見て、最初に当てはまった行でスタンプを押す。それ以降の行は見ません。マニュアルに書いていないことは、しません。

このマニュアルの、いちばん下の行がこうなっています。

「例外に当たらなければ、凍結」

最初に読んだとき、私は「どれにも当てはまらなかったら凍結」と読んで、ぎょっとしました。でも、よく見ると逆でした。上に並んでいるのは免除と付箋ごとの個別の窓口で、最終行が原則です。

  • 上の行: 免除する人。そして付箋ごとの個別の窓口(ラベルを貼る、本人確認に回す、名指しで凍結する)
  • 最終行: どの窓口にも当たらなければ、原則どおり凍結

大事なのは、どの行で止まっても、そこで審査が終わることです。下の行には進みません。

坂道を転がり落ちるように凍結へ近づくのではなく、付箋の種類ごとに窓口が分かれていて、最初に当たった窓口が出口になる。そういう作りです。だから順番が効くのは、付箋を何枚も貼られている時だけ。免除の条件と凍結の付箋が同時にあれば、上にある免除が勝ちます。

刑罰の表に似ています。原則の刑が先に決まっていて、「この場合は許す」「この場合は軽くする」という項目が上に並ぶ。どの項目にも当てはまらなければ、原則の刑です。「該当なし」は無実という意味ではなく、軽くする理由が見つからなかった、という意味です。

条件に当てはまれば、そのまま実行されます。「今回は軽く済ませる」のような加減はありません。だから、どの行に当たるかがすべてです。

実際、行動の筆跡鑑定モデルが貼る「ボット判定」の付箋には、専用の行がありません。ボット判定は、あとで書く「2本の鍵が揃った」という印です。この付箋が判定係まで届けば、上のどの窓口にも当たらず、最終行で凍結になります。最終行は残りかすの受け皿ではなく、このモデルの凍結を受ける本線です。

マニュアルの表の図
行の並びは簡略化しています。上にラベルの行があっても、下の凍結を打ち消すわけではありません。審査はモデルごとに別々に来るからです

具体例で追います。4人います。

Aさん。AI量産のモデルが「AI量産」の付箋を1枚貼った。免除には当たらない。ラベルの行が当たり、30日のラベルが貼られて審査終了。おすすめには出なくなり、フォロー中のタイムラインでは見える(と読めます)。

Bさん。AI量産のモデルが「AI量産」を、なりすまし検出のモデルが「なりすまし・凍結」を貼った。付箋は2枚ですが、貼ったモデルが違うので、結果は別々に届き、審査も2回です。1回目のAI量産の審査は、Bさんに以前から30日のラベルが貼ってあったので「もう貼ってある。今回は何もしない」の行が当たり、処分なしで終了。つまりクリアです。2回目のなりすましの審査は、凍結の行が当たって凍結。軽い審査をクリアしても、重い審査は別に来ます。Bさんは凍結です。

Cさん。行動の筆跡鑑定が「ボット判定」を貼った。免除には当たらない。この付箋には専用の行がなく、最終行の原則で凍結。

Dさん。Cさんと同じ「ボット判定」を貼られたが、信頼スコアが高い。免除の行が先に当たり、審査終了。処分なし。窓口には進みません。

Dさんの免除のほかにも、処分なしで終わる道はあります。

  • 既に同じラベルが貼ってある(Bさんの1回目がこれです)
  • 旧版の集団スパム判定は、「保留」の行で止まる
  • 既に凍結や停止中の人は、審査自体をスキップ
  • そしてそもそも、行動の筆跡鑑定で本物らしさが高ければ、付箋が貼られず審査に来ない

クリアの道は免除だけではありません。ただし、どのクリアも「その審査が終わった」というだけで、別のモデルの審査には効きません。

1つ目の「既に同じラベルが貼ってある」には、読者に関係の深い含みがあります。30日という期限は、最初に貼られた日から数えます。貼られている30日のあいだに同じ判定が何度来ても、審査はこの行で止まるので、期限は延びません。上書きも、貼り直しもされない。コードにも、期限を書き換える処理は見当たりませんでした。

ただし、切れたあとは別です。31日目に同じ判定が来れば、この行では止まりません。免除にも当たらなければ、今度は「貼る」行に当たって、新しい30日が始まります。耐えれば解放される、ではなく、30日ごとに1回リセットされる、という形です。

そしてこの行が見ているのは、ラベルがあるかどうかだけです。どのモデルが貼ったかは問いません。多数派投稿で貼られたラベルが残っていれば、AI量産の審査もここで止まります。もちろん止まるのはラベルを貼る審査だけで、凍結の審査は別に来ます。

BさんとCさんが示しているのが、この節の答えです。付箋はモデルごとに別々に届くので、軽い行で終わっても、重い付箋の審査は別に来ます。

4人の審査の図

では、同じモデルが軽い印と重い印を同時に貼ったらどうなるか。マニュアル側は、重い窓口ほど上に置くことで対応しています。重い方が先に処理される並びです。

  • なりすまし検出は、「凍結」の行が「ラベル」の行より上
  • 集団スパムの拡張版は、「凍結、本人確認、ラベル」の順
  • 行動の筆跡鑑定の本人確認の行には、「ボット判定の印がない時だけ」という条件付き。凍結級の印を、手前の本人確認がうっかり受け止めてしまわないための条件です

つまり「軽い窓口が先に当たって、重い印がうやむやになる」という並びは、基本的にありません。見つかった例外は1か所だけです。組織的キャンペーンの並びでは、ラベルの行が児童安全の永久凍結の行より上にあります。ただし、この2つの印が同じ人に同時に貼られることがあるのかは、モデル側が非公開なので分かりません。

一方で、投稿についてのマニュアルは、いちばん下の行が「何もしない」です。アカウントは疑わしきは別室へ、投稿は疑わしきは通す。正反対の設計です。

では、誰がこの審査に来るのか。答えは「モデルに付箋を貼られた人だけ」です。付箋を貼るのは、AI量産、速すぎるリプライ、なりすまし、通報の蓄積といった各モデルと、行動の筆跡鑑定の「ボット判定」です。付箋のない普通のアカウントが、いきなり最終行まで転げ落ちる流れは、この仕組みには見当たりません。そして同じ人でも、別のモデルが別の付箋を貼れば、それは別の審査として、もう一度入口から入ります。

細かい注意書きを1つだけ。判定係の入口には門があって、「この付箋を持つ結果だけ通す」という一覧を設定できる作りです(一覧が空だと、全部素通しになります)。どの付箋を通す設定なのかは非公開なので、この記事の例は、ボット判定の付箋が門を通る前提で書いています。

ファストレーンがある。免除は凍結より先に読まれる

マニュアルの先頭には、免除の行が並んでいます。凍結の行より前です。

  • 許可リストに入っている
  • フォロワー数が一定以上
  • 信頼スコアが高い

3つ目の信頼スコアは、第6回インデックスに出てきた「ページランク的な信頼度」と同じ系統です。コードでは、信頼度が「高い」と判定されているか、スコアが50以上なら通します。

2つ目のフォロワー数には、注釈が付いていました。「本番は別の下限値を使う。これは悪用を減らすためのモック値」とあります。つまりXは、この数字を出すつもりがありません。いくつなら免除か、は非公開です。

投稿側のマニュアルにも似た免除がありますが、こちらにはモデル側から「免除チェックは飛ばして」と指定できる例外が付いています。

たとえるなら、マニュアルの最初のページに印刷されたファストレーンです。審査官が最初に見るのはこの行で、身元の分かっている人はここで審査が終わります。第6回インデックスで「フォロワーが多いほどペナルティを受けにくい」と書きましたが、その裏付けがここにありました。

念のため書いておくと、これは「フォロワーが多ければ何をしても無敵」という意味ではありません。免除で終わるのは、この自動処分の審査だけです。Xには人の手による審査も、別のシステムもあります。そちらまで素通しになるとは、このコードからは読めません。

処分は4段階。重い順に並べると

ここまでバラバラに出てきた処分を、重い順に1枚の表にまとめます。全体像はこれで終わりです。

  • 永久凍結: 児童安全に関わるものだけ。通報の蓄積と、組織的キャンペーンの発信源の2つです
  • 凍結(期限つき): 行動のリズム、なりすまし、集団スパムの拡張版、通報の蓄積、キャンペーンの発信源
  • 本人確認へ回す: 行動のリズムが凍結の線の手前にいる場合と、なりすまし・集団スパムのモデルが「確認」と判定した場合
  • ラベルを貼る: AI生成っぽい量産、意味のない文字列、速すぎるリプライ、多数派投稿は30日。キャンペーンの参加者は同じラベルだが、期限の指定がない。このうち意味のない文字列と速すぎるリプライは、投稿1本ずつに貼られます

「意味のない文字列」については、もう少し狭い話です。この付箋は投稿側のルールにしか出てきません。アカウントに貼る行はコードのどこにもないので、これでアカウント全体が沈むことはない、と読めます。単独のポストとリプライを区別する条件もないので、どちらも同じ扱いです。

同じ「キャンペーン」でも、発信源は凍結、参加者はラベルです。旗を振った人と、旗を持って歩いた人を分けている、と読めます。

ラベルの「30日」は、コードに有効期限として書かれています。2,592,000,000ミリ秒、つまり30日です。キャンペーンの参加者の行にだけ、この記述がありません。

ここから、みなさんに関係が深い3つを掘ります。AI生成っぽい投稿、速すぎるリプライ、集団スパムです。

深掘り1。AI生成っぽい投稿は、棚から下げられる

付箋の名前は「llm_slop」です。コードにあるのは、この名前だけです。何を見てこの付箋を貼るのか、判定モデルはリポジトリに入っていません。

名前だけ読み解きます。llmは大規模言語モデル、つまりAIのことです。slopは「残飯」「質の低い量産物」を指す言い回しで、2024年ごろから「AI slop」という言い方で、AIが吐き出した低品質な大量コンテンツを指すようになりました。名前から読めば「AIで量産した低品質な投稿」です。

もう1つ、名前から読めることがあります。付箋は2種類あって、アカウントに貼られる「llm_slop_user」と、投稿に貼られる「llm_slop_post」です。アカウント丸ごとの癖と、投稿1本ずつ。両方を見ている、ということです。

では、この付箋が貼られると、処分はどうなるか。凍結ではありません。処分としてのラベルが、アカウントと投稿にそれぞれ30日貼られます。

投稿に貼られるラベルの名前が、少し面白い。「RiskyHighVizReply」、直訳すると「目立つ場所にある危険なリプライ」です。狙っているのは、バズった投稿の下に付くAI量産のリプライ、と読めます(名前からの推測です)。ただし、このラベルが何を引き起こすかは、リポジトリの中には書かれていません。

一方、アカウントに貼られるラベルは「SpamHighRecall」で、こちらはどこに効くのかまで追えます。

ではラベルが貼られると何が起きるか。ここは別の場所のコードで確かめられます。投稿が読者の画面に出る直前、最後に通る検査の層です(第9回並べ替えと選抜で「検査1・身分確認」と呼んだ層です)。この層のルール一覧に、SpamHighRecallのラベルを持つ投稿と投稿者を落とす行があります。そしてその行は、「おすすめ限定」のルール群に入っています。

つまりこうなります。ラベルを貼られた人の投稿は、おすすめからは消える。落とす行がフォロー中タイムライン側の共通ルールに入っていないことから、フォロワーのタイムラインには残る、と読めます(なお、フォロワーであっても「おすすめ」の面を見ている時は落ちます。残るのはフォロー中側です)。

たとえるなら、店頭の棚から下げられるが、常連には売る、という状態です。この処分コードに、本人へ通知する処理は見当たりません(通知の仕組み自体は別系統なので断定はできませんが、少なくとも気づきにくい作りです)。そして、フォロー外へのおすすめ経路が30日間閉じます。番外編「バズの経路」で書いた通り、伸びの主戦場はフォロー外のおすすめです。ラベル1枚で、その主戦場への扉が閉じます(検索やプロフィール経由まで消えるかは、この行からは読めません)。

ここで、誤解しやすい点を1つ。「AI生成っぽくても、ラベルで済むなら凍結はされない」とは読めません。マニュアルの行は、モデルごとの結果を別々に判定しています。AI量産の付箋にはラベルの行が当たる。同じ人が行動の筆跡鑑定で鍵を2本揃えれば、それは別の結果として届き、凍結の行が当たる。先に貼られたラベルが、あとの凍結を止める行はありません。処分の重ねがけを防ぐ仕組みもありますが、それは強い処分が弱い処分を省く向きにだけ働きます。軽い処分で済んだのは、免除されたからではありません。そのモデルが言えるのはそこまでだった、というだけです。

ここで、貼られるラベルの名前にヒントがあります。名前は「SpamHighRecall」。Recall(再現率)を高くする、とは「取りこぼしを減らすことを優先する」という意味の言葉です。広めに拾う判定だ、と読めます。

そして興味深いことに、同じ層のNSFWのラベルを比べると、置き場所が違います。高精度(狭く確実に拾う)のほうには、おすすめ以外の面にも効くルール(注意書きを挟む)があるのに、高再現(広く拾う)のほうはおすすめ限定のルールしか持っていません。SpamHighRecallもおすすめ限定です。広く拾う判定には、効く範囲の狭い処分を当てている、という配置に見えます。ただし、そういう設計方針だとコードに書いてあるわけではありません。

もう1つ、線を引いておきます。「AIで書いた文章がすべて対象」とは、コードからは読めません。付箋の名前は「slop」で、量産された低品質なもの、というニュアンスです。X真正性ポリシーの側でも、AI生成そのものではなく「欺瞞目的」を規制しています。どこに線があるかは、モデルの中身が非公開なので分かりません。

深掘り2。速すぎるリプライは、2つの網にかかる

速すぎるリプライには、網が2つあります。

1つ目は投稿単位の網です。付箋の名前は「fast_reply_spam_post」で、この付箋が貼られた投稿には、SpamHighRecallのラベルが30日貼られます。処分は上と同じで、おすすめから消える。何秒なら速すぎるのか、は公開されていません。そしてこの網も、次に書く行動のリズムの網とは別々に判定されます。投稿単位の網がラベル止まりでも、リズムの側で引っかかれば凍結の経路に乗ります。

2つ目が本題で、行動の筆跡鑑定です。

最初に出てきたBDSMというモデルです。直近512件の行動を時刻つきで読む、と書きました。数えている行動の種類は256種類あります(公開ファイルで名前が付いているのは196種類)。そして、モデルの設計説明には「行動の間隔そのものを表現する。バースト性、機械的なリズム」とあります。

たとえるなら、メトロノームです。人間の拍は揺れます。返信を打つ速さも、間隔も、時間帯でばらつく。機械の拍は揃います。このモデルは文面を読みません。見ているのは拍と、行動の種類・画面・滞在・端末といった周辺の信号です。

このモデルには8人の審査員がいます。フォロー係、いいね係、リプライ係、投稿係、リポスト係、増幅係、何でも係、そして最後に「本物係」です。増幅係というのは、いいねやリポストをまとめて膨らませる動きを見る係です。それぞれが「この人はこの種類のボットだ」という確率を出し、本物係だけが「正規のユーザーらしい」という確率を出します。

リプライ係が高い確率を出したとき、コードには特別な経路が1本ありました。

  • 行動数が最低ライン以上(数は伏せ字)
  • リプライ係の確率が閾値を超えていて
  • そのリプライの9割以上が、同じ1つの公式アプリから送られている

この3つが揃うと、本物係の意見を聞かずに凍結の付箋が貼られます。コードのログ文にそのまま「本物の天井なし」と書いてあります。

3つ目の条件が、少し変わっています。順に説明します。

Xに投稿を送る窓口は、いくつもあります。iPhoneのXアプリ、Androidのアプリ、パソコンのブラウザ、iPad。それと、企業やツールが使う専用の窓口(API)です。どの窓口から送られたかは、投稿1本ずつに記録されています。この経路が見ているのは、そのうち公式アプリの4つです。割合は9割以上(コードに書かれた既定値が9割です。送信元が不明なものも分母に数える作りになっています)。

ここで「私もスマホのアプリしか使っていないけど」と思った方。この9割という条件は、普通の人ならまず超えます。ですがそれ単体では何も起きません。モデルが「この人はリプライボットだ」と高い確率で判定して、はじめて意味を持つ条件です。

ではなぜ、わざわざ窓口を見ているのか。一言でいうと、この経路が狙っているのは公式のAPIを使わないボットだからです。

業者のツールは普通、公式のAPIを使います。使うには第三者アプリとして登録する必要があるので、送信元の記録にそのアプリの名前が残る。記録を見れば分かるので、別の網で対応できます。コードのコメントにも「正規のAPIサービスは第三者アプリ経由で投稿するので、この門は通らない」と書いてありました。

残るのが、APIを使わないほうです。公式アプリやWebの画面を、そのまま自動で操作するタイプ。この場合、送信元は公式アプリとして記録されるので、手で操作している人と見分けがつきません。だからこの経路だけ、人間らしさの点数を無視して凍結できるようにしてある、と読めます。

メトロノームと8人の審査員の図

深掘り3。集団スパムは、一人ずつ白でも黒になる

集団スパムには、付箋の出どころが3つあります。

1つ目は「cluster_spam」という名前のモデル群です。名前から読むと、個人ではなく集団単位でスパムを見るモデルです。凍結・本人確認・ラベルの3段階があります。

ここで面白い発見がありました。マニュアルの中に「cluster_spam の判定は保留」という行があり、その行が旧版の処分行より上に置かれています。上から順に読む方式なので、旧版の判定は保留の行で止まり、処分まで届きません。処分ルール上、実行できるのは「cluster_spam_extended」という拡張版の行だけです。旧版は止めて、拡張版に切り替えている最中、と読めます。

2つ目は「多数派投稿者」です。付箋の名前は「SpamEmbeddingMajorityPoster」。名前から読むと、内容が互いに似た投稿の「多数派」に入っている人へラベルを貼る仕組みです。文面がまったく同じでなくても、内容が似ていれば同じグループとして数えられる、と読めます。

3つ目は、行動の筆跡鑑定の「何でも係」です。このモデルに「これがボットのお手本」と教えるための一覧に、「協調された不正ボット」という項目があります。ただしこのモデルが読むのは一人分の行動の列なので、他の大勢の列と直接見比べているとまでは、公開コードからは確認できません。「協調的に動く個人の行動列に共通するパターン」を学習で覚えている、という形と読めます。

たとえるなら、ダンスの審査です。一人だけ見れば、いいねをして、リプライをして、リポストをする、普通の動きです。でも会場を見渡して、100人が同じ振り付けで、同じタイミングで踊っていたら、それは自発的な動きではない。この「会場を見渡す」見方をするのが1つ目の集団モデルで、3つ目の何でも係は「振り付けの癖が個人の列に残る」ことを学習で拾う係、という分担と読めます。

これは、スパム業者だけの話ではありません。伸ばすために仲間内でいいねを回す、同じ文面を大勢で投稿する、といった動きは、一人ずつは規約違反に見えなくても、この網には振り付けとして映ります。

凍結には鍵が2本いる

行動の筆跡鑑定から凍結に至る条件を、もう少し正確に書きます。

コードの判定は1行です。「ボット係の確率が閾値以上、かつ、本物係の確率が上限以下」であること。

なお、この鍵の対象になっているボット係は、公開設定ではフォロー係・増幅係・リポスト係の3人です(他の係の凍結閾値は設定に載っていません)。

鍵が2本あって、同時に回す必要があります。ボットらしさが高いだけでは足りません。本物らしさも低くないと、凍結にはなりません。たとえば、機械的にフォローを繰り返しているが、同時に人間らしい閲覧やスクロールもしている人は、本物係が高い確率を出すので、片方の鍵しか回らない。

基準の数字は、両方とも伏せられています。コードには9.99と書いてありますが、確率は0から1の間の数なので、これは絶対に条件が成立しないダミーの数字です。説明書には理由も書いてあります。正確な数字を公開すると、「どこまでならセーフか」の境界線を教えることになるから。採点が始まる最小の行動数を伏せているのも、同じ理由です。

さらに、閾値の手前に「帯」があります。ボットらしさが閾値の少し下、本物らしさが上限の少し上、という灰色の帯です。ここにいる人は凍結されません。代わりに、機械には解きにくい問題を出されます。CAPTCHAかパズル型の確認のどちらかが、ユーザーIDから機械的に半々で決まります(生体確認は別枠の抽選で、公開されている設定値は0。この値のままなら、誰にも出ません)。確認を出した時点で、この判定は終わりです。通ったあと、通れなかったあとの扱いは、この公開コードの外にあります。

ここはコードの外の話になりますが、本人確認のあとにアカウントがロックされた、という報告はX上でよく見かけます。ただし公開コードの側に、確認の結果を受けてロックする処理はありません。処分の実行係が出せる処分は5種類にハードコードされていて(凍結、ラベル、CAPTCHA、パズル、生体確認)、その中にロックはありません。確認とロックがどう繋がっているのかは、公開範囲の外にあります。

つまりこれは、時間の順番ではなく、点数の地図です。

白 → 何もなし

灰色の帯(閾値の少し手前) → 本人確認

2本の鍵が揃う(閾値超え) → 凍結

「まず本人確認が来て、次に凍結」と、順番に上っていく階段ではありません。最初の採点で凍結の線を超えていれば、本人確認を経ずにそのまま凍結側へ進みます。帯は、凍結ラインの手前にいる人だけが入る場所です。ただし逆は言えます。この帯の判定から確認を出されたなら、その採点では帯の中にいます(確認を出す仕組みは、この帯以外にもあります)。

2本の鍵と灰色の帯の図

主経路から外される人たち

行動の筆跡鑑定には、そもそも凍結の主経路に乗らない条件がいくつかあります。読者に関係が深いものを挙げます。

  • 行動の半分以上が投稿の人。連投しているだけの人は、この主経路の対象外です(ただし外れるのは2本の鍵の主経路だけで、リプライ係の特別経路や別モデルの審査には効きません)。凍結の閾値表(公開設定)に載っているのは、フォロー係・増幅係・リポスト係の3人だけです。投稿スパム係とリプライ係は本人確認へ回す枠だけ(公開されている設定では試運転)、いいね係と何でも係も閾値表にはいません
  • 作られて48時間未満のアカウントの、フォローボット判定。新規アカウントが最初にまとめてフォローするのは普通なので、見送ります
  • スターターパック経由でフォローした人向けの門。コードのコメントに「本物のユーザーでも21.8%が当てはまる」とあり、門を「確認モード」にすると凍結を止めて本人確認へ回す設計です。ただし公開されている設定では、この門はオフです
  • 広告ブロッカーの利用者。滞在の記録が届かない人は「ボットではなく、ブロッカーの被害者」として除外。コードのコメントにそのまま書いてあります

最後の1つは、少し驚きました。滞在データが来ないアカウントは、機械的に見ればボットに似ます。それを区別する処理が、わざわざ入っています。

これも念のため。ここに挙げた除外は「行動の筆跡鑑定の主経路から外れる」という意味であって、「こうすれば安全」という抜け道ではありません。別のモデルの審査や、リプライ係の特別経路には効きません。

規模と安全弁

数字を3つ。

  • 自動処分の上限は、アカウント・投稿それぞれ1日50万件
  • 同じ人に同じ処分を重ねない期間は24時間
  • 再採点の間隔は、行動の少ない人で1時間、多い人で24時間

そして意外な仕様が1つ。上限を数える仕組みが壊れたとき、この仕組みは止まりません。数えるのをやめて、制限なしのまま処分が続く設定です。50万件という上限は、正常時の天井であって、保証ではありません。

履歴。いつからあったか

処分の判定係は、リポジトリが公開された8月13日の初日から入っていました。今回見つかった、というより、見落としていた、が正確です。

その後の変更は1回です。8月25日に「通報の蓄積モデルによる凍結」の行が追加されました。あわせて、他のシステムが要求した処分をそのまま実行する経路も入っています。行動の筆跡鑑定の処分ポリシーには「2026-08-14版」と書いてあります。

9月1日と2日の更新では、処分側は変わっていません。9月2日に大きく変わったのは第9回並べ替えと選抜の「検査1」の層で、それは別の話です。

だから、どうなるのか

3つ書きます。

1つ目。CAPTCHAやパズルを出されたら、警告として受け取ることです。行動モデルの帯の判定から出たものなら、凍結ラインの手前にいる印です(確認を出す仕組みは他にもあります)。ただし「凍結の前には必ず確認が来る」わけではありません。最初から閾値を超えれば、確認を経ずに凍結側へ進みます。出されたときが、自分のどの行動が機械っぽく見えたのかを見直すタイミングです。

2つ目。凍結されなくても、ラベルで止まります。AI生成っぽい量産、速すぎるリプライ、多数派と似た内容。これらは30日、フォロー外へのおすすめが消えます。本人へ通知する処理はこのコードに見当たりません。伸びなくなった、としか感じられない可能性が高い。番外編「バズの経路」で書いた、フォロー外へ届けるための2つのエンジン(SimClustersとPhoenix)も、この層で落とされたら届きません。

3つ目。免除の線は非公開です。フォロワー数の下限も、閾値も、採点が始まる最小の行動数も、意図的に伏せられています。「ここまでなら大丈夫」を探すのは、設計上できないようになっています。

一方で、主経路には「正規ユーザーらしさ」を別に確認する安全弁が組み込まれています。8人の審査員のうち1人は、正規のユーザーを認める係です。主経路では、その係の確率が高ければ鍵は1本しか回りません。例外は1つだけ、先に書いたリプライ係の特別経路は本物係の意見を聞きません。

まとめ(詳細の側)

冒頭の表に載せなかった、仕組みの中身だけをまとめます。

  • 判定は上から順、最初に当てはまった行で確定。免除と個別の窓口が上、最終行が原則の凍結。投稿の最終行は「何もしない」
  • 行動の筆跡鑑定モデル(BDSM)は、直近512件の行動を時刻つきで読み、8人の審査員(7種のボット係+本物係)が確率を出す。文面は読まず、拍と周辺の信号を見る
  • 凍結には2本の鍵。ボット係が閾値以上、かつ本物係が上限以下。対象の係は公開設定で3人(フォロー・増幅・リポスト)。閾値は9.99で伏せられている
  • 閾値の手前に灰色の帯があり、そこは凍結ではなく本人確認(CAPTCHAかパズル。順番の階段ではなく点数の地図で、閾値を直接超えれば確認を経ない)
  • 速すぎるリプライには「リプライの大部分が同じ公式アプリから」という条件で、本物係を見ずに凍結する経路がある
  • 集団スパムの旧版は保留行で止まり、処分ルール上は拡張版の行だけが実行可能
  • 連投だけの人、48時間未満の新規アカウント、広告ブロッカー利用者は主経路から外れる(スターターパックの門は実装済みだが、公開されている設定ではオフ)
  • 上限は1日50万件、重複防止24時間。上限を数える仕組みが壊れたら制限なしで通す
  • 処分の判定係は8/13の公開初日から存在。8/25に通報モデルの凍結を追加

※この記事の処分ルールは、公開リポジトリ(2026-09-03時点、commit 85ac72a)の enforcement_user.yaml / enforcement_post.yaml に基づきます。ファイル冒頭に「GrowthBookの動的設定をミラーしたもの(最終同期 2026-08-26)」と明記されています。行動モデルの閾値・最小行動数・フォロワー数の下限は、意図的に伏せられた値です。付箋の名前の日本語訳は名前からの読みで、判定モデルの中身は公開されていません。

連載を第1回から読む ブログ一覧へ