Qwen3.8-27Bをローカル実行する：LM StudioとDeepSeek Harnessの設定手順

ローカルAgentを安定させるコツは、モデル、API、Agentを一度に設定しないことです。まずLM StudioだけでQwen3.8-27Bを読み込み、次にAPIを確認し、最後にDeepSeek Harnessを接続します。こうすると不具合の場所を短時間で特定できます。

本稿は映像の操作内容を再構成し、2026年9月4日時点のQwen公式モデルカード、LM Studio APIドキュメント、LM Studio Community版GGUF、DeepSeek Harness公式リポジトリで現行情報を確認しています。Qwen3.8-27Bのネイティブコンテキストは262,144 tokenですが、ローカルで実際に確保できる長さはハードウェア設定次第です。

最初にVRAMの上限を決める

WindowsのターミナルでGPU名とVRAMを確認します。

nvidia-smi --query-gpu=name,memory.total --format=csv

24GB以上ならGPU Offloadと長いコンテキストを比較的使いやすくなります。16GBは動作を試せる下限で、KV Cacheをシステムメモリへ逃がすため速度が落ちます。16GB未満なら27Bに固執せず、より小さいQwenを選ぶ方が安全です。

LM StudioでIQ4_XSを取得する

LM Studioをインストールし、モデル検索から lmstudio-community/Qwen3.8-27B-GGUF を開きます。選ぶのはファイル名に UD-IQ4_XS を含む約15.18GBの量子化です。似た名前のQ4_K_MやQ5_K_Mを誤って選ばないよう、ダウンロード前に配布者と末尾を確認します。

映像はLM Studio 0.4.23を使っています。新しい版では画面配置が変わる可能性がありますが、重要なのは同じ数値を盲目的にコピーすることではなく、Estimated Memory Usageを毎回確認することです。

24GB以上の読み込み設定

詳細設定を開きます。映像のPCではGPU Offload 65、CPU Threads 8、Eval Batch Size 2048、Physical Batch Size 512、Unified KV Cacheオン、Context Checkpoints 32でした。

Context Lengthは262144から試せます。ただしメモリ見積もりがVRAMを超えている場合はLoadしません。GPU Offloadを下げ、それでも余裕がなければコンテキストを短くします。

16GBではKV CacheをRAMへ移す

16GB GPUはContext Length 131072、GPU Offload 56/64、KV Cache Q4_0、KV Offload to GPUオフから始めます。MTPをオンにし、Max draft tokensは2です。Load中に終了するならGPU Offloadを56、52、48のように4ずつ下げ、その後でコンテキストを削ります。

この方法には十分なシステムRAMが必要です。PCごとに常駐ソフト、ドライバ、表示用VRAMが異なるため、同じ値で必ず動くわけではありません。一度に変更する項目は一つに絞ります。

Thinkingを小さな予算から試す

モデルがREADYになったら推論画面へ移り、Enable ThinkingとPreserve Thinkingをオンにします。Reasoning Budgetは1024、Temperatureは0.7を初期値にします。接続確認が終わるまでは大きな予算にせず、待ち時間と障害を区別できるようにします。

LM StudioのAPIだけを先にテストする

Developer画面でServerを起動します。公式ドキュメント上の既定ポートは1234ですが、LM Studioは以前のポートを使う場合があります。映像では1262でした。必ず自分の画面に表示されたURLを使ってください。

表示ポートが1262なら、次のようにモデル一覧を確認します。

curl --fail http://127.0.0.1:1262/v1/models

JSONにQwenのmodel IDが出れば、LM Studio側は正常です。Serverは 127.0.0.1 のままにし、認証なしで外部公開しないでください。

DeepSeek Harnessへ接続する

DeepSeek Harnessはdeveloper previewであり、互換性を壊す更新があり得ます。現在のパッケージが対応するNode.jsを用意し、Agentに見せる作業フォルダで起動します。

node --version
npx @deepseek-ai/dsh web

標準のWeb UIは http://127.0.0.1:3080 です。モデル設定でOpenAI Compatibleを追加し、Base URLに http://127.0.0.1:1262/v1 を指定します。1262は実際のLM Studioポートへ置き換えます。認証を有効にしていない場合、API Key欄は lm-studio のような空でない値で構いません。model IDは先ほどのJSONからコピーします。

完了判定は五つに分ける

LM StudioがREADY、ServerがRunning、/v1/models が成功、Harnessが3080で開く、そして「okだけ返して」に応答する。この五項目を順番に確認します。タスクマネージャーでGPUメモリが増え、プロセスが落ちなければ基本構成は完成です。

会話が長くなったらHarnessの /compact を使えます。ただし重要な仕様はチャットだけに残さず、READMEやタスクファイルへ書き出します。

大きな変更の前にはプロジェクトフォルダ全体を複製します。HTML本体、ライブラリ、モデル、シーン座標を別ファイルに分けておくと、生成コードの修正範囲も小さくできます。

トラブルは下の層から直す

Loadで落ちる場合は、他のGPUアプリを終了し、GPU Offload、コンテキストの順に下げます。Harnessにモデルが出ない場合は推論設定を触らず、まずcurlを再実行し、ポート、/v1、model IDを確認します。16GB環境で遅いだけなら、コンテキストとReasoning Budgetを下げて比較します。

LM StudioとHarnessをインターネットへ直接公開しない、出所不明の共有ファイルからモデルを入れない、最初から重要な作業フォルダをAgentへ渡さない。この三点を守り、破棄できるテストプロジェクトで成功してから実運用へ移してください。