經驗評估的可證偽邊界：研究者自由度、時序污染與事前契約架構

-- 零外部依賴 SQLite / PostgreSQL 兼容 DDL 架構
-- 實現事前凍結、時序單向演進與測試集防洩漏約束

CREATE TABLE evaluation_contracts (
    contract_id TEXT PRIMARY KEY,
    created_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    is_frozen BOOLEAN NOT NULL DEFAULT 0,
    dataset_hash TEXT NOT NULL,
    primary_metric TEXT NOT NULL,
    target_threshold REAL NOT NULL,
    falsification_expr TEXT NOT NULL,
    test_invoke_count INTEGER NOT NULL DEFAULT 0,
    status TEXT NOT NULL CHECK (status IN ('DRAFT', 'FROZEN', 'EVALUATED', 'FALSIFIED', 'VERIFIED')),
    
    -- 不變式約束：一旦凍結，關鍵欄位不得為空
    CONSTRAINT chk_frozen_validity CHECK (
        (is_frozen = 0) OR 
        (is_frozen = 1 AND length(dataset_hash) = 64 AND target_threshold > 0.0)
    ),
    -- 不變式約束：測試集調用次數嚴格不得超過 1 次
    CONSTRAINT chk_test_single_invoke CHECK (test_invoke_count <= 1)
);

CREATE TABLE contract_executions (
    execution_id TEXT PRIMARY KEY,
    contract_id TEXT NOT NULL,
    executed_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    seed_used INTEGER NOT NULL,
    observed_metric REAL NOT NULL,
    FOREIGN KEY (contract_id) REFERENCES evaluation_contracts(contract_id)
);

import sqlite3
import sys

def test_evaluation_contract_governance():
    conn = sqlite3.connect(":memory:")
    cur = conn.cursor()

    # 1. 建立具有完整 Check 約束的合約資料表架構
    cur.execute("""
    CREATE TABLE contracts (
        contract_id TEXT PRIMARY KEY,
        is_frozen INTEGER NOT NULL DEFAULT 0,
        dataset_hash TEXT NOT NULL,
        threshold REAL NOT NULL,
        test_invokes INTEGER NOT NULL DEFAULT 0,
        status TEXT NOT NULL CHECK (status IN ('DRAFT', 'FROZEN', 'EVALUATED', 'FALSIFIED', 'VERIFIED')),
        CHECK ((is_frozen == 0) OR (is_frozen == 1 AND length(dataset_hash) == 64)),
        CHECK (test_invokes <= 1)
    );
    """)

    # 2. 正常流程：註冊並凍結一份事前契約 (反駁門檻: 增益須 >= 0.05)
    valid_hash = "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855"
    cur.execute("""
    INSERT INTO contracts (contract_id, is_frozen, dataset_hash, threshold, test_invokes, status)
    VALUES ('CTR-2026-001', 1, ?, 0.05, 0, 'FROZEN');
    """, (valid_hash,))
    conn.commit()

    # 3. 攻擊情境 A：試圖以非法 hash 凍結 (違反長度 64 約束) -> 必須報錯阻斷
    try:
        cur.execute("""
        INSERT INTO contracts (contract_id, is_frozen, dataset_hash, threshold, test_invokes, status)
        VALUES ('CTR-BAD-002', 1, 'invalid_short_hash', 0.05, 0, 'FROZEN');
        """)
        raise AssertionError("Security check failed: Invalid hash length should be rejected by SQL CHECK")
    except sqlite3.IntegrityError:
        pass # 正確阻斷

    # 4. 正常評估：執行第 1 次測試集評估，實測增益僅 0.02 (小於門檻 0.05，觸發反駁)
    cur.execute("""
    UPDATE contracts 
    SET test_invokes = test_invokes + 1, status = 'FALSIFIED'
    WHERE contract_id = 'CTR-2026-001';
    """)
    conn.commit()

    # 5. 攻擊情境 B：測試集已被使用過 1 次，試圖二次調用 (違反 test_invokes <= 1 約束)
    try:
        cur.execute("""
        UPDATE contracts 
        SET test_invokes = test_invokes + 1
        WHERE contract_id = 'CTR-2026-001';
        """)
        raise AssertionError("Security check failed: Multiple test set invokes should be rejected by SQL CHECK")
    except sqlite3.IntegrityError:
        pass # 正確阻斷

    # 6. 狀態檢驗
    cur.execute("SELECT status, test_invokes FROM contracts WHERE contract_id = 'CTR-2026-001'")
    row = cur.fetchone()
    assert row[0] == "FALSIFIED", f"Expected status FALSIFIED, got {row[0]}"
    assert row[1] == 1, f"Expected test_invokes == 1, got {row[1]}"

    print("Slot 06 (falsifiable-evaluation-contracts) SQL verification passed.")

if __name__ == "__main__":
    test_evaluation_contract_governance()

（週一至週四）
1. 跑了 200 組超參數網格搜尋。
2. 發現主指標 Accuracy 毫無進展，但次要指標 Recall 在特定閾值下微升 1.5%。
3. 發現測試集切分包含異常點，手動剔除 5% 數據後重新評估。

（週五撰寫技術報告）
「本實驗事前假設新型正則化方法能有效提升模型召回率。
  我們在清理後的標準數據集上進行了驗證，實測結果顯示 Recall 顯著提升 1.5%，
  充分驗證了架構的優越性。」

# 嚴密防線：CI/CD 契約驗證流水線
1. PR 發起階段：
   - 提交模型程式碼的同時，必須包含事前合約 YAML 檔案 (`contract.eval.yaml`)；
   - 自動化 Linter 檢查八欄完整性，特別校驗反駁條件算式之可計算性。
2. 凍結簽名：
   - 合約由評估系統自動計算 SHA-256 數位簽名，寫入只讀資料庫；
   - 測試集解密金鑰由評估隔離節點單獨託管，研發權限完全遮蔽。
3. 單次執行與裁決：
   - 評估節點拉取模型 Artifact，對測試集執行唯一一次前向推斷；
   - 評估腳本比對實測值與合約反駁門檻：
     - 若命中反駁條件：流水線拋出 Code 42 (Hypothesis Falsified)，阻斷分支合併；
     - 若通過驗證：自動生成具備防偽浮水印的能力認證憑證。