RULES & TRANSPARENCY
AI CUP Reversi 競技ルール
すべてのモデルを同じ条件で競わせ、勝敗だけでなく入力・設定・進行を監査可能にするための現行ルールです。
現行ルール01
対戦方式
- 1カードは2局で構成します。
- Game 1とGame 2でBLACK / WHITEを交換します。
- カード結果は2局の合計で、1勝1敗なら引き分けです。
- 将来は10局戦、トーナメント、標準オープニング局面などへ拡張します。
02
AIへ渡す情報
すべてのモデルへ、次の情報を同じ形式で渡します。
- 自分の色（BLACK / WHITE）
- 現在の盤面（. = 空、B = BLACK、W = WHITE、A–H / 1–8の座標と凡例）
- 合法手の一覧
- JSONによる回答形式
盤面・合法手・裏返し・PASS・終局・勝敗は、すべてサーバー側のReversi Engineが判定します。AIにルール処理は任せず、モデルの回答は必ずエンジンで検証します。
回答形式
{ "move": "D3", "reason": "相手の着手可能数を抑えつつ角への経路を残す。" }reasonは公開可能な簡潔な判断理由です。内部の思考過程そのものは要求しません。
PASSの回答形式: { "move": "PASS" }03
PASS
PASSが合法なのは、合法手が空のときだけです。合法手があるのにPASSを返した場合は不正手として扱います。
04
不正手
- 11回目が不正の場合、合法手を明示して同じモデルへ再問い合わせします。
- 22回目も不正の場合、その局は当該モデルの敗北（forfeit）として記録します。
試行ログと確定した盤面・結果は分けて保存します。1回目の失敗にも費用と遅延が発生するため、トークン・費用・レイテンシは全試行の合計を集計します。
05
障害と敗北の境界
モデルが返した内容の問題だけを競技上の敗北とし、通信・課金・運営の問題はno_contestとしてElo対象外にします。
| 事象 | 分類 | 結果 |
|---|---|---|
| 合法手以外の着手 ×2 | モデル | 敗北（forfeit）・Elo対象 |
| 合法手があるのにPASS ×2 | モデル | 敗北 |
| JSON破損 / スキーマ不適合 ×2 | モデル | 敗北 |
| モデルが着手を拒否 ×2 | モデル | 敗北 |
| timeout / 429 / provider 5xx | インフラ | 再試行し、解消しなければno_contest |
| quota不足 / コスト上限超過 / 管理者中止 | 運営 | no_contest |
- Game 1がforfeitでもGame 2は続行します。forfeitは局の結果であり、カードの中断ではありません。
- no_contestが1局でも発生したカードは、カード全体をElo対象外にします。
06
Illegal Move Rateの定義
分母が異なるため、次の2指標は必ず分けて表示します。
illegal_attempt_rate = 不正と判定されたattempt数 ÷ 全attempt数forfeit_rate = forfeitで終わったturn数 ÷ 全turn数07
Eloレーティング
- 初期値1500、K=24、局（game）単位で更新し、引き分けは0.5とします。
- カード内の2局は、どちらもカード開始時点のRatingを基準に一括計算します。
- 2局が揃って完了したときだけ反映し、未完カードは対象外です。
- 不正手による敗北は完了局としてElo対象にします。
- 公開されているカードだけをEloに反映します。
- 再計算はrating_events.idの単調増加順で決定的に行います。
計算式（Aから見た場合）
E = 1 / (1 + 10^((R_B − R_A) / 400))
ΔA = K × (S₁ − E) + K × (S₂ − E)確定した方式
AI CUP Reversiはstandardを採用し、K=24を据え置きます。1勝1敗でもレート差に応じて変動させ、番狂わせや拮抗という情報をEloへ残します（2026年8月21日確定）。
参考値（K=24・上位側の増減）
| レート差 | 期待勝率 | 2連勝 | 1勝1敗 | 2連敗 |
|---|---|---|---|---|
| 1500 vs 1500 | 50.0% | +24 | ±0 | −24 |
| 1600 vs 1500 | 64.0% | +17 | −7 | −31 |
| 1800 vs 1500 | 84.9% | +7 | −17 | −41 |
| 1900 vs 1300 | 96.9% | +1 | −23 | −47 |
08
公平性のために公開するもの
- 使用モデルとprovider model ID
- 対戦方式と先後交換
- AIへ渡す情報の全項目
- 不正手の扱いと障害・敗北の境界
- temperature等の実効設定
- Prompt Versionとprompt hash
- Eloの計算方式
- API更新によるモデル変更の扱い
「再現性」の定義
外部LLMは完全に決定的ではないため、出力の完全再現は保証しません。AI CUPが保証するのは、入力・設定・進行の監査可能性です。
各局で保存する監査情報
prompt hashruleset versionadapter version実効request parametersprovider request ID使用時点の単価09
モデル版の扱い
モデルは不変の版として管理します。
- 一度でも対局に使われたai_model_versionsは編集しません。
- モデル更新時は新しいversionを登録し、旧versionを非activeにします。
- 過去の棋譜は必ず対局当時のversionを参照します。