DeepInfer：構成・導入・オフライン推論

デバイスのサポートとメモリ容量は別のチェックです。構成のデバイス数、メモリ、相互接続、およびチェックポイント要件を確認します。コンシューマ GPU と Python のインストールだけでは、これらの前提条件を満たしません。

1. 01

   オフラインリクエスト

   プロンプトと生成パラメータ

2. 02

   スケジュール設定

   バッチと実行作業を整理する

3. 03

   モデルの実行

   コンテキストを事前入力してからトークンをデコードする

4. 04

   サンプリング

   構成されたルールの下でトークンを選択します

5. 05

   出力

   生成されたシーケンスと診断

README では現在、バッチ不変推論と決定論的サンプリングが NVIDIA 専用としてマークされています。決定論的サンプリングには、文書化された設定と固定シーケンス シードがさらに必要です。このチュートリアルでは、デフォルトでは高度な最適化フラグが有効になりません。

DeepSeek Recipe は、別個のプロトコル変換およびトークンのエンコード/デコード ライブラリです。その存在は、オフライン DeepInfer リリースにバンドルされ、本番環境に対応した API サーバーとして解釈されるべきではありません。

git clone https://github.com/deepseek-ai/DeepInfer.git
cd DeepInfer
python3.12 -m venv .venv
source .venv/bin/activate

仮想環境がアクティブな状態で、DeepInfer リポジトリのルートに残ります。実行前に現在のビルド スクリプトを確認し、ソース リビジョンとモデル リビジョンを記録し、依存関係と重みのために十分なディスクとメモリを予約します。

export DEEPINFER_ACCELERATOR=nvidia
./build.sh

export DEEPINFER_ACCELERATOR=ascend
./build.sh

この例では、8 つの NVIDIA デバイスを明示的に選択し、-ep 8 を使用します。これらのデバイスが存在し、十分なリソースがあることを前提としています。これは汎用の単一カード コマンドではありません。 Ascend ユーザーは、プラットフォーム固有の公式例に従い、それに応じてデバイスの可視性を設定する必要があります。

export DEEPINFER_ACCELERATOR=nvidia
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
python examples/offline_inference.py --ep 8

export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017
python examples/offline_inference.py --ep 8

同じ構成済みの NVIDIA シェルでローカル チェックポイントの代替を実行します。 /path/to/DeepSeek-V4.1-Flash-1017 を、config.json とウェイト ファイルを含む実際の互換性のある Hugging Face チェックポイント ディレクトリに置き換えます。環境変数はデフォルトのモデル パスを変更します。明示的に指定された --model_name はオーバーライドされません。

曲線を再現するときは、ソース リビジョン、ハードウェア、デバイス数、並列処理、バッチ設定、キャッシュされたプレフィックス、ドラフト長、および許容前提を記録します。プロファイリングは実行を混乱させます。プロファイラのトレース タイミングから定常状態のパフォーマンスを導き出すことはできません。これらのグラフからは、普遍的な高速化や API 価格はわかりません。

サポートされていないハードウェア

コンパイルする前に、現在の README と照合してアクセラレータ アーキテクチャを確認してください。 Python のインストールが成功しても、カーネルの互換性は確立されません。

ビルドまたはコンパイラの失敗

Linux、GCC、Python、および一致する CUDA/CANN バージョンを確認します。環境を隔離した状態に保ち、無関係なツールチェーン バージョンをインストールするのではなく、最初に失敗したビルド ステップを検査します。

プラットフォーム変数がありません

DEEPINFER_ACCELERATOR をアクティブ化された環境で nvidia または ascend としてエクスポートし、その後の実行のために保持します。インストールされているハードウェアとライブラリに一致するプラットフォームを選択してください。

チェックポイントを解決できません

有効なモデル ID または config.json と重みを含む既存の互換性のあるディレクトリを使用します。環境オーバーライドがアクティブであると想定する前に、権限と明示的な --model_name 引数を確認してください。

デバイス数が間違っているか、メモリが不足しています

表示されるデバイス、並列構成、モデルのメモリ要件を確認します。デバイス数の削減は自動的には有効になりません。利用可能なハードウェアに適合する文書化された構成を選択してください。

チェックしたソース: 2026-10-25