表徵探測與因果決策的分離：中介變數誤認、殘差旁路與介入檢驗

// 零外部依賴 Go 最小自我驗證實施
// 驗證注意力熱圖中介脫鉤 (殘差旁路能量稀釋) 與反事實介入檢驗

package main

import (
	"fmt"
	"math"
)

// AttentionBlock 包含殘差連接的注意力模組
type AttentionBlock struct {
	Dim        int
	ResidScale float64 // 殘差旁路縮放權重
	AttnScale  float64 // 注意力子層縮放權重
}

func NewAttentionBlock(dim int, residScale, attnScale float64) *AttentionBlock {
	return &AttentionBlock{
		Dim:        dim,
		ResidScale: residScale,
		AttnScale:  attnScale,
	}
}

// Forward 計算前向輸出、注意力權重向量與殘差佔比
func (b *AttentionBlock) Forward(tokens [][]float64, queryIdx int) ([]float64, []float64) {
	n := len(tokens)
	query := tokens[queryIdx]

	// 1. 計算相容度內積並除以 sqrt(d)
	scale := math.Sqrt(float64(b.Dim))
	logits := make([]float64, n)
	maxLogit := -math.MaxFloat64
	for i := 0; i < n; i++ {
		dot := 0.0
		for d := 0; d < b.Dim; d++ {
			dot += query[d] * tokens[i][d]
		}
		logits[i] = dot / scale
		if logits[i] > maxLogit {
			maxLogit = logits[i]
		}
	}

	// 2. Softmax 計算注意力權重 (熱圖數值)
	attnWeights := make([]float64, n)
	sumExp := 0.0
	for i := 0; i < n; i++ {
		exp := math.Exp(logits[i] - maxLogit)
		attnWeights[i] = exp
		sumExp += exp
	}
	for i := 0; i < n; i++ {
		attnWeights[i] /= sumExp
	}

	// 3. 加權求和 (Context Vector O)
	context := make([]float64, b.Dim)
	for i := 0; i < n; i++ {
		w := attnWeights[i]
		for d := 0; d < b.Dim; d++ {
			context[d] += w * tokens[i][d]
		}
	}

	// 4. 殘差相加: Y = ResidScale * X + AttnScale * O
	output := make([]float64, b.Dim)
	for d := 0; d < b.Dim; d++ {
		output[d] = b.ResidScale*query[d] + b.AttnScale*context[d]
	}

	return output, attnWeights
}

// InterveneKnockout 執行反事實介入: 強制將特定中介 token 的注意力權重置零並重新歸一化
func (b *AttentionBlock) InterveneKnockout(tokens [][]float64, queryIdx int, knockoutTarget int) []float64 {
	n := len(tokens)
	query := tokens[queryIdx]
	scale := math.Sqrt(float64(b.Dim))

	logits := make([]float64, n)
	maxLogit := -math.MaxFloat64
	for i := 0; i < n; i++ {
		if i == knockoutTarget {
			continue // 介入: 阻斷目標通道
		}
		dot := 0.0
		for d := 0; d < b.Dim; d++ {
			dot += query[d] * tokens[i][d]
		}
		logits[i] = dot / scale
		if logits[i] > maxLogit {
			maxLogit = logits[i]
		}
	}

	sumExp := 0.0
	attnWeights := make([]float64, n)
	for i := 0; i < n; i++ {
		if i == knockoutTarget {
			attnWeights[i] = 0.0
			continue
		}
		exp := math.Exp(logits[i] - maxLogit)
		attnWeights[i] = exp
		sumExp += exp
	}
	for i := 0; i < n; i++ {
		if sumExp > 0 {
			attnWeights[i] /= sumExp
		}
	}

	context := make([]float64, b.Dim)
	for i := 0; i < n; i++ {
		w := attnWeights[i]
		for d := 0; d < b.Dim; d++ {
			context[d] += w * tokens[i][d]
		}
	}

	output := make([]float64, b.Dim)
	for d := 0; d < b.Dim; d++ {
		output[d] = b.ResidScale*query[d] + b.AttnScale*context[d]
	}
	return output
}

func l2Dist(a, b []float64) float64 {
	sum := 0.0
	for i := range a {
		diff := a[i] - b[i]
		sum += diff * diff
	}
	return math.Sqrt(sum)
}

func main() {
	dim := 4
	// 構造 3 個合成詞元，其中 Token 1 與 Query 強共線
	tokens := [][]float64{
		{1.0, 0.0, 0.0, 0.0}, // Token 0 (Query)
		{2.0, 0.0, 0.0, 0.0}, // Token 1 (高度相容的關鍵目標)
		{0.0, 1.0, 1.0, 0.0}, // Token 2 (正交噪聲)
	}

	// ----------------------------------------------------
	// 案例 A: 殘差主導 (ResidScale = 10.0, AttnScale = 0.1)
	// ----------------------------------------------------
	blockResidualDominated := NewAttentionBlock(dim, 10.0, 0.1)
	outA, weightsA := blockResidualDominated.Forward(tokens, 0)
	
	// 熱圖讀數: Token 1 取得極高注意力 (> 0.60)
	targetAttnA := weightsA[1]
	if targetAttnA <= 0.50 {
		panic(fmt.Sprintf("Expected high attention on token 1, got %f", targetAttnA))
	}

	// 執行反事實介入: 物理遮蔽 Token 1
	interveneOutA := blockResidualDominated.InterveneKnockout(tokens, 0, 1)
	causalImpactA := l2Dist(outA, interveneOutA) / l2Dist(outA, make([]float64, dim))

	// 斷言驗證: 儘管熱圖極高，但因殘差旁路主導，因果影響力極其微弱 (< 0.02)
	fmt.Printf("[案例 A 殘差主導] 注意力熱圖值: %.4f, 介入因果影響力: %.4f\n", targetAttnA, causalImpactA)
	if causalImpactA > 0.05 {
		panic(fmt.Sprintf("Assertion Failed: Causal impact should be negligible in residual-dominated regime, got %f", causalImpactA))
	}

	// ----------------------------------------------------
	// 案例 B: 注意力子層主導 (ResidScale = 0.1, AttnScale = 10.0)
	// ----------------------------------------------------
	blockAttnDominated := NewAttentionBlock(dim, 0.1, 10.0)
	outB, weightsB := blockAttnDominated.Forward(tokens, 0)
	targetAttnB := weightsB[1]

	interveneOutB := blockAttnDominated.InterveneKnockout(tokens, 0, 1)
	causalImpactB := l2Dist(outB, interveneOutB) / l2Dist(outB, make([]float64, dim))

	fmt.Printf("[案例 B 子層主導] 注意力熱圖值: %.4f, 介入因果影響力: %.4f\n", targetAttnB, causalImpactB)
	// 斷言驗證: 此時熱圖與因果介入影響力方產生實質對齊 (> 0.40)
	if causalImpactB < 0.30 {
		panic(fmt.Sprintf("Assertion Failed: Causal impact should be significant in attention-dominated regime, got %f", causalImpactB))
	}

	fmt.Println("Slot 04 (representation-probing-causal-decoupling) Go verification passed.")
}

1. 提取大模型在輸出某個敏感決策時的自注意力熱圖。
2. 觀察到注意力權重矩陣在「合規條款」或「免責標籤」詞元上數值高達 0.85。
3. 脆弱報告：
   - 截圖熱圖高光區域放進審計報告；
   - 宣稱：「熱圖顯示模型在決策時高度關注合規條款，具備充分的可解釋性與安全保障」。
4. 隱患：殘差旁路能量佔比達 90%，強制將合規詞元替換為違規詞元後，模型預測結果完全不變，系統實質處於失控狀態。

1. 基準前向推斷：
   - 記錄乾淨輸入 x 下的模型決策 logits(y) 以及目標層中間激活狀態 a。
2. 污染/反事實構造：
   - 構造破壞關鍵語義的輸入 x'，記錄受損輸出 logits(y')。
3. 介入修復檢驗 (Intervention via Causal Tracing)：
   - 將 x' 輸入網路，但強制在中介層將特定神經元/注意力頭的狀態覆寫為原始狀態 a (do-operation)。
   - 計算因果介入力度 (Total Indirect Effect, TIE):
     TIE = [P(y | do(a)) - P(y | x')] / [P(y | x) - P(y | x')].
4. 判定與裁決：
   - 僅當 TIE > 0.50 時，方能認定該中介單元真實承載了關鍵因果決策流；
   - 若 TIE < 0.05，即便熱圖呈現 0.99 權重，一律判定為無效偽影。