Preference Model

本拠は未確認 · Co-founder & CEO Jennifer Zhou／Co-founder Ning Cao · 2026-10-07ステルス解除（設立年は未確認） · フロンティアAIラボ向けのRL環境

何をやっているか 強化学習（RL）の「環境」を作っています。RL環境とは、モデルに目標、サンドボックス、ツール、採点器を与えて試行させる訓練の場のことです。この1年、複数のフロンティアラボ向けにRL環境を作ってきました。重点はML工学やAI研究の作業（カーネルを書く、学習の不具合を直す、データを整える、実験を設計する）です。強みは、モデルが答えを盗み見たり採点器を壊したりする「報酬ハック」に強いこと。社内で使ってきたフレームワーク「Karotte」をオープンソースにしました。エージェントは権限のないユーザーとしてサンドボックス内で動き、採点の前に残ったプロセスを止め、採点器を落とすようなファイルははじきます。会社によると、100万回以上の評価実行とレッドチーミングで鍛えています。

ラウンド $16M seed。a16zがリード（GP Jennifer Liのメモ）。SignalFire、South Park Commons、Scale Angel Groupが参加し、エンジェルにはFei-Fei Li、Ian Goodfellow、Julian Schrittwieserがいます。評価額は非開示です。発表は10/7（会社ブログ・a16zメモ）。

一次情報

• 会社ブログ（Jennifer Zhou、Felipe Peter）: 「We believe that robust RL environments are a key component to training aligned models as we head into the superintelligent era.」／「In an eval, a reward hack that happens in 10% of runs gives you a slightly wrong number on a leaderboard. In training, the hack gets reinforced.」
• a16z Jennifer Li: 「Building RL environments that actually work is harder than it looks. Models are relentless at reward hacking, finding shortcuts, and exploiting vulnerabilities…」／「We're thrilled to partner with Jennifer and Ning and the Preference Model team as they build the training grounds for capable and aligned models.」

なぜ今見るか a16zのインフラ担当GPがシードをリードし、メモの署名にはMartin Casado、Marc Andreessen、Ben Horowitzも並んでいます。a16zによると、RL環境の需要はこの18か月で急増しました。CEOのZhouはAnthropic初期のメンバーで、Claudeの事前学習データやトークナイザーを作った人です。Cao は DatologyAI の初期社員でした。モデルが強くなるほど抜け道を探すのもうまくなるので、壊れにくい訓練の場そのものに価値が出てきています。

市場・競合 RL環境やデータを売る会社（人手データの大手やRL環境の専業スタートアップ）と、ラボの社内チームが相手です。差別化は、ML工学という難しい領域と、報酬ハックへの防御です。Karotteを公開したことは、開発者を集める手段にもなります。

リスク・要確認 売上、顧客名、顧客の数は非開示で、買い手は少数のラボに集中しています。ラボが自前で作る可能性もあります。100万回という数字は会社の主張です。本拠と設立年は一次情報で確認できていません。創業者の公式写真がなく、カードはプレースホルダーです。

出典

• a16z投資メモ（10/7）
• 会社ブログ「Introducing Karotte」（10/7）
• preferencemodel.com
• Pulse2（確認用） / Wilson Sonsini