NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8-GGUF

gemma-4-E4B-it-Heretic-ARA-Refusals8 GGUF

NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8 のGGUF量子化版です。

提供ファイル

ファイル名	量子化	サイズ	推奨用途
gemma-4-E4B-it-heretic-ARA-Refusals8-Q4_K_M.gguf	Q4_K_M	4.96 GB	一般用途・軽量重視
gemma-4-E4B-it-heretic-ARA-Refusals8-Q5_K_M.gguf	Q5_K_M	5.36 GB	品質・サイズのバランス
gemma-4-E4B-it-heretic-ARA-Refusals8-Q6_K.gguf	Q6_K	5.79 GB	高品質・バランス重視
gemma-4-E4B-it-heretic-ARA-Refusals8-Q8_0.gguf	Q8_0	7.47 GB	高品質・メモリ余裕あり
gemma-4-E4B-it-heretic-ARA-Refusals8-BF16.gguf	BF16	14.0 GB	高精度・VRAM十分な場合

概要

google/gemma-4-E4B-it を Heretic v1.2.0 の Arbitrary-Rank Ablation (ARA) 手法を用いて検閲解除したモデルです。

Abliteration 手法

ARA (Arbitrary-Rank Ablation) は Heretic PR #211 で導入された新しい abliteration 手法です。従来の方向性アブリタレーションとは異なり、PyTorch フックを使用して各トランスフォーマーモジュールの入出力テンソルをキャプチャし、L-BFGS による直接的な行列最適化でモジュールを修正します。

最適化は以下の3つの競合する目標のバランスを取ります：

1. 「無害な」プロンプトに対する出力をできる限り変化させない
2. 「有害な」プロンプトに対する出力を「無害な」プロンプトの出力に近づける
3. 「有害な」プロンプトに対する出力を元の状態から遠ざける（より強いステアリングのための過補正）

Abliteration パラメータ

パラメータ	値
start_layer_index	21
end_layer_index	35
preserve_good_behavior_weight	0.9896
steer_bad_behavior_weight	0.0010
overcorrect_relative_weight	0.4414
neighbor_count	15

性能

指標	このモデル	元のモデル (google/gemma-4-E4B-it)
拒否率	8/100	99/100
KL発散	0.0216	0 (定義上)

評価は mlabonne/harmful_behaviors（テスト 100 プロンプト）で拒否率を、mlabonne/harmless_alpaca（テスト 100 プロンプト）で KL 発散を計測しました。

注記

• このモデルは研究およびクリエイティブライティング目的を想定しています
• Heretic の ARA ブランチ（PR #211）は現在(2026年4月4日) Draft 状態でメインブランチにまだマージされていません
• 拒否率の評価は英語プロンプトのみで実施しています。日本語プロンプトでの動作は異なる場合があります
• ベースモデル: NullpoLab/gemma-4-E4B-it-Heretic-ARA-Refusals8
• Heretic: p-e-w/heretic