deepseek-v4-pro-qwen3.5-9b-uncensored-heretic 技術解説：教師データと重みの出所を確認する

deepseek-v4-pro-qwen3.5-9b-uncensored-heretic は、Qwen3.5-9B を基盤とするコミュニティ派生モデルです。DeepSeek は作者が申告する教師データ源と名称の由来であり、モデル本体は Qwen です。その蒸留後の重みに Heretic が変更を加えています。DeepSeek と Qwen の重みをマージしたモデルではなく、このコミュニティ公開に DeepSeek 公式は参加していません。

本稿では、公開ファイルやソースで確認できる事項を 【確認済み】、独立再現していない作者の説明を 【作者の申告】 と表記します。確認日は 2026 年 11 月 10 日です。

deepseek-v4-pro-qwen3.5-9b-uncensored-heretic は何を継承しているか

名前を読む前に、三つの役割を分けると理解しやすくなります。

確認する対象	担当	根拠の範囲
教師回答	DeepSeek-V4-Pro	【作者の申告】数学・STEM 約 25 万件
学生の構造と重みの出発点	Qwen3.5-9B	【確認済み】公開設定と索引
蒸留後の重みの編集	Heretic ARA	【確認済み】カードの手法・層範囲。効果は作者の報告

【作者の申告】Jackrong は、DeepSeek-V4-Pro の回答を使って教師あり微調整（SFT）を行い、その後に軽量な GSPO 強化学習を実施したと説明しています。両段階ともコードデータは含めていないとしています。これは生成された回答から学ぶ応答・データ蒸留の説明で、教師のパラメータを移植するものではありません。logit 単位の蒸留を実施したとする公開証拠もありません。蒸留モデルの HF カード

教師の正体、約 25 万件という件数、学習順序は、いずれも作者に帰属させる必要があります。教師データセットや生成ログ、完全な学習記録が公開されていないため、最終的な重みだけで教師を特定することはできません。「Max Effect」も作者の表現として扱い、公式に確認されたモード名とはしません。

公式参加を示す公開証拠は見つかっていません。公開上の派生関係は Qwen、unsloth、Jackrong、xtools-at を経由します。教師モデルへの謝辞は、公式提携や公式によるデータ提供の証明にはなりません。上流カード、heretic カード

まず config と重みの索引を確認する

【確認済み】Qwen 公式版、蒸留版、heretic 版はいずれも Qwen3_5ForConditionalGeneration です。言語部分の設定は以下のように一致します。

項目	Qwen・蒸留版・heretic	DeepSeek-V4-Pro
アーキテクチャ	Qwen3_5ForConditionalGeneration	DeepseekV4ForCausalLM
hidden size	4096	7168
言語層数	32	61
語彙サイズ	248,320	129,280

出典：Qwen 設定、蒸留版設定、heretic 設定、DeepSeek 設定。

現在の蒸留版と heretic 版の索引は、それぞれ 775 個のテンソルキーを含み、Qwen の言語・視覚・MTP モジュールの命名を維持しています。公開された派生関係と合わせると、Qwen の後学習モデルという説明を裏付けます。DeepSeek の重みをマージした証拠はなく、設定も通常のテンソル単位の加重マージには一致しません。ただし、索引で確認できるのは構造であり、各重みの学習履歴全体ではありません。蒸留版索引、heretic 索引

次に ARA の変更範囲を読む

【確認済み】カードには Heretic v2.0.0.dev0 と Arbitrary-Rank Ablation（ARA）が記載されています。開始インデックスは 9、終了インデックスは 24 です。終了値は含まないため、0 始まりの言語デコーダー第 9〜23 層、計 15 層が対象です。HF パラメータ表

ARA を「一つの拒否方向を引き算する処理」と説明するのは不正確です。開発者は、選択したモジュールの行列変更を直接最適化し、一方のプロンプト群の出力を保つ目標と、もう一方の出力を変える目標を調整すると説明しています。対象は蒸留後の Qwen 重みです。DeepSeek のアーキテクチャやトークナイザーを取り込む処理ではありません。ARA の技術説明

評価値は対象モデルと測定条件をセットで確認する

【作者の申告】heretic の拒否件数は 100/100 から 3/100 に減り、KL divergence は 0.0422 と報告されています。このテスト条件での値であり、あらゆる要求の拒否確率が 3% になるという意味ではありません。独立した安全性評価でもなく、小さな KL だけで全能力の維持を確認できるわけでもありません。heretic 性能表

GSM8K 94.50%、MMLU-Pro 90.53% は、上流の蒸留版に対する作者の評価です。GSM8K は NVFP4・vLLM で 4 回の平均、MMLU-Pro は数学・物理・化学を各 500 問、計 1,500 問で評価した平均です。完全版の MMLU-Pro ではなく、heretic 版を独立再評価した成績でもありません。70B や教師モデルへの全面的な優位性は示しません。上流の評価条件

数学・STEM は学習の重点として報告されているため、追加評価する候補になります。一方、プログラミング、ツール呼び出し、画像理解、創作の品質は個別に確認が必要です。視覚構造が残っていることと視覚能力の実証、拒否が少ないことと正確さは、それぞれ別の話です。

MTP の問題から分かる互換性の限界

【確認済み】HF の discussion #1 には、初期の索引が 760 キーで mtp.* を含まず、上流は MTP 15 キーを含む 775 キーだったという報告があります。メンテナーは不足分を補ったと回答しています。本稿で確認した現在の索引には、この 15 キーが存在します。HF discussion #1、現在の索引

現在のファイル構造が補完されたことは確認できますが、すべての下流量子化版や実行環境の動作保証にはなりません。また、約 5.6GB という量子化ファイルのサイズは、キャッシュ、視覚部品、ランタイムを含む総メモリ量ではありません。未実測のハードウェア要件、変動する人気ランキング、根拠のない障害説は掲載しません。

読む際は、モデル本体の出所、教師データの証拠、評価された版、編集後の効果を順に分けて確認してください。このモデルの適切な説明は「Qwen3.5-9B を基盤に、作者が DeepSeek 回答で蒸留したとするモデルの第 9〜23 層を、コミュニティが ARA で編集した派生モデル」です。具体的な用途への適性は、対応する版の独立評価を待つ必要があります。