MagicEraser Online

DeepSeek · 오픈 소스 추론 프레임워크

DeepInfer: 구조·설치·오프라인 추론

DeepInfer는 추론 프레임워크, 즉 모델 가중치를 실행하는 소프트웨어입니다. 지원되는 하드웨어로 시작하여 출시된 엔진을 이해한 다음 문서화된 Linux 빌드 및 오프라인 예제를 따르세요.

공식 DeepInfer 저장소

독립 문서 가이드. DeepInfer를 설치하지 않았거나 GPU 벤치마크를 재현하지 않았습니다. 이 페이지에서는 추론을 호스팅하거나 명령을 실행하거나 모델 가중치를 다운로드하지 않습니다.

확인된 소스:

설치하기 전에 지원을 확인하세요

현재 README에는 다음 플랫폼과 모델 제품군이 나열되어 있습니다. 이전 DeepSeek 모델, 기타 가속기, 기본 Windows 또는 macOS에 대한 지원은 해당 목록에 의해 설정되지 않습니다.

문서화된 전제조건 · 하나의 장치가 모델에 적합할 것이라는 약속은 아님
요구 사항NVIDIA 경로상승 경로
지원되는 모델 제품군DeepSeek-V4.1-FlashDeepSeek-V4.1-Flash
가속기NVIDIA SM100Huawei Ascend 950
운영 체제LinuxLinux
Python 환경Python 3.12Python 3.12
컴파일러GCC ≥ 13.0GCC ≥ 13.0
플랫폼 툴킷CUDA 13CANN 9.2

장치 지원과 메모리 용량은 서로 다른 검사입니다. 구성에 대한 장치 수, 메모리, 상호 연결 및 체크포인트 요구 사항을 확인하세요. 소비자 GPU와 Python 설치만으로는 이러한 전제 조건을 충족할 수 없습니다.

공식 읽어보기

오프라인 엔진이 어떻게 조화를 이루는가

이 단순화된 흐름은 오프라인 실행을 설명합니다. 완전한 프로덕션 HTTP 서비스나 전체 클러스터 토폴로지를 나타내지는 않습니다.

  1. 01

    오프라인 요청

    프롬프트 및 생성 매개변수

  2. 02

    스케줄링

    배치 및 실행 작업 구성

  3. 03

    모델 실행

    컨텍스트를 미리 채운 다음 토큰을 디코딩합니다.

  4. 04

    샘플링

    구성된 규칙에서 토큰을 선택하세요.

  5. 05

    출력

    생성된 시퀀스 및 진단

최적화된 커널

커널은 장치 수준의 컴퓨팅 루틴입니다. DeepInfer는 특수 커널 라이브러리를 실행 런타임과 결합합니다. 현재 라이브러리 세트 및 플랫폼 지원에 대해서는 링크된 README를 검토하십시오.

주의 DP/CP, MoE EP/EPLB

DP는 데이터 병렬성을 의미합니다. CP는 컨텍스트 병렬성을 의미합니다. MoE는 전문가가 혼합되어 있고, EP는 전문가를 분산시키고, EPLB는 전문가 작업의 균형을 이루고 있습니다. 이는 기성 서비스 로드 밸런서가 아닌 엔진 병렬성을 설명합니다.

추측적 디코딩 및 SWA 재생

초안 토큰을 함께 제안하고 검증할 수 있습니다. DSpark는 신뢰도를 사용하여 확인을 예약합니다. SWA는 슬라이딩 윈도우 주의를 의미합니다. 제한된 재생은 적절한 접미사를 유지하여 반복되는 사전 채우기 작업을 줄입니다. 고급 설정은 모델 구성에 따라 다릅니다.

스케줄링, 샘플링 및 구조화된 출력

비동기 스케줄링은 CPU 스케줄링과 장치 실행과 겹칩니다. 구조화된 출력은 생성을 JSON 스키마, 정규식 또는 EBNF 문법과 같은 형식으로 제한합니다. 일괄 불변 실행과 결정론적 샘플링에는 별도의 구성 요구 사항이 있습니다.

README는 현재 배치 불변 추론 및 결정론적 샘플링을 NVIDIA 전용으로 표시합니다. 결정적 샘플링에는 문서화된 설정과 고정된 시퀀스 시드가 추가로 필요합니다. 이 튜토리얼에서는 기본적으로 고급 최적화 플래그를 활성화하지 않습니다.

공식 읽어보기추론 배포 Q&A

엔진 출시 vs 완전한 온라인 서비스

DeepSeek의 프로덕션 시스템에 대한 배포 Q&A 설명과 별도로 릴리스 범위를 읽어보세요. 여기에 설명된 모든 프로덕션 구성 요소가 저장소의 일부로 제공되는 것은 아닙니다.

기능 및 나머지 통합 작업
면적출시된 엔진 성능완벽한 온라인 서비스를 위해
실행오프라인 생성, 모델 실행, 스케줄링 및 샘플링.수신, 서비스 수명주기 및 운영 통합을 요청합니다. 오프라인 예시를 HTTP 서버로 취급하지 마세요.
캐시엔진 수준 KV 사용 및 제한된 재생 기능.인프라 결합 관리 계층을 포함하여 이 릴리스 외부에 나열된 전체 KV 캐시 시스템입니다.
병렬성과 균형MoE 전문가 병렬성 및 전문가 병렬 로드 밸런싱(EPLB).사전 채우기 및 디코딩을 위한 데이터 병렬 복제본 간의 로드 밸런싱.
스테이지 분리필요한 엔진 기능 중 대부분이 구현되었습니다.분리된 비전 인코딩, 사전 채우기 및 디코딩의 배포 및 조정.

DeepSeek Recipe는 별도의 프로토콜 변환 및 토큰 인코딩/디코딩 라이브러리입니다. 그 존재를 오프라인 DeepInfer 릴리스에서 번들로 제공되는 프로덕션 준비 API 서버로 읽어서는 안 됩니다.

DeepSeek 레시피 프로토콜 라이브러리추론 배포 Q&A

Linux의 소스에서 빌드

위의 전제 조건을 충족하는 기계를 사용하십시오. 아래 명령은 문서 예시일 뿐입니다. 하나의 가속기 플랫폼을 선택하고 해당 빌드에 대해 별도의 빈 Python 환경을 사용합니다.

1. Python 3.12 복제 및 활성화

git clone https://github.com/deepseek-ai/DeepInfer.git
cd DeepInfer
python3.12 -m venv .venv
source .venv/bin/activate

가상 환경이 활성화된 상태로 DeepInfer 리포지토리 루트에 남아 있습니다. 실행하기 전에 현재 빌드 스크립트를 검토하고, 소스 개정과 모델 개정을 기록하고, 종속성과 가중치를 위한 충분한 디스크와 메모리를 예약하세요.

기본 경로에서는 SM100 하드웨어와 CUDA 13이 이미 준비되어 있다고 가정합니다. DeepInfer를 실행할 때 동일한 환경에서 DEEPINFER_ACCELERATOR를 내보냅니다. 빌드는 종속성을 설치하고 공급업체 구성 요소를 컴파일합니다.

2. NVIDIA / Linux 빌드

export DEEPINFER_ACCELERATOR=nvidia
./build.sh

CANN 9.2가 포함된 Ascend 950의 경우 NVIDIA 빌드를 실행하는 대신 별도의 매칭 환경에서 상승을 사용하세요. 두 개의 툴체인을 결합하거나 CUDA 관련 단계가 적용될 것이라고 기대하지 마십시오.

대안: Ascend / Linux 빌드

export DEEPINFER_ACCELERATOR=ascend
./build.sh

소스 빌드 스크립트공식 읽어보기

오프라인 추론 예시 실행

기본 체크포인트: deepseek-ai/DeepSeek-V4.1-Flash-1017. 첫 번째 실행에서는 Hugging Face 캐시에 가중치를 다운로드할 수 있습니다. 이것은 경량 CPU 스모크 테스트가 아닌 대형 모델 실행입니다.

이 예에서는 8개의 NVIDIA 장치를 명시적으로 선택하고 --ep 8을 사용합니다. 이는 해당 장치가 존재하고 충분한 리소스가 있다고 가정합니다. 이는 보편적인 단일 카드 명령이 아닙니다. Ascend 사용자는 플랫폼별 공식 예를 따르고 이에 따라 장치 가시성을 구성해야 합니다.

NVIDIA 예 · 8개의 일치하는 표시 장치

export DEEPINFER_ACCELERATOR=nvidia
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
python examples/offline_inference.py --ep 8

기존 로컬 체크포인트 사용

export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017
python examples/offline_inference.py --ep 8

동일한 구성된 NVIDIA 셸에서 로컬 체크포인트 대안을 실행하세요. /path/to/DeepSeek-V4.1-Flash-1017을 config.json 및 가중치 파일이 포함된 실제 호환 가능한 Hugging Face 체크포인트 디렉터리로 바꾸세요. 환경 변수는 기본 모델 경로를 변경합니다. 명시적으로 제공된 --model_name을 재정의하지 않습니다.

공식 사례오프라인 추론 스크립트모델 중량 및 모델 라이센스

성능 결과를 올바르게 읽으십시오

공식 README의 사전 채우기 차트는 4 SM100 GPU를 사용하고 디코드 차트는 각각 하나의 확장 도메인 내에서 64를 사용합니다. 이러한 구성은 보편적인 최소값이나 우리가 실행한 벤치마크가 아닌 게시된 차트를 설명합니다.

단계, 측정항목 및 해석
미터법단위/범위그것을 해석하는 방법
처리량 미리 채우기토큰/s/GPU입력 토큰 처리 속도입니다. 입력 길이, 캐시 적용 범위 및 배치 크기와 함께 읽으십시오. 완전한 요청 대기 시간이 아닙니다.
평균_SPS 디코딩걸음수/초초당 정상 상태 디코딩 단계입니다. 추측 디코딩이 활성화된 경우 단계는 반드시 하나의 허용된 출력 토큰일 필요는 없습니다.
디코딩 처리량 계산완전 수용 규칙이 예에서는 전체 초안 승인 규칙을 사용하여 처리량을 보고합니다. 전달된 출력 토큰으로 처리하기 전에 초안 길이와 실제 수락률을 비교하십시오.
사용자별 속도 및 대기 시간요청당/워크로드당높은 집계 처리량은 각 요청에 대한 빠른 응답을 보장하지 않습니다. 동일한 하드웨어, 동시성, 컨텍스트 및 측정 경계를 비교하십시오.

곡선을 재현할 때 소스 개정, 하드웨어, 장치 수, 병렬성, 배치 설정, 캐시된 접두사, 초안 길이 및 허용 가정을 기록합니다. 프로파일링은 실행을 방해합니다. 프로파일러 추적 타이밍에서 안정적인 상태 성능을 도출하지 마십시오. 이 차트에서는 보편적인 속도 향상이나 API 가격이 나오지 않습니다.

공식 사전 채우기 차트공식 디코드 차트벤치마크 재현 스크립트공식 사례

고급 옵션은 설치 기본값이 아닙니다.

DSpark, 신뢰 기반 검증, SWA 제한 재생 및 재현 가능한 샘플링에는 각각 모델 및 플랫폼 조건이 있습니다. 문서화된 예제로 시작한 다음 최적화 플래그를 변경하거나 결과 차이를 해석하기 전에 README 및 예제 구성을 검사하십시오.

공식 읽어보기공식 사례

문제 해결 체크리스트

지원되지 않는 하드웨어
컴파일하기 전에 현재 README와 비교하여 가속기 아키텍처를 확인하세요. 성공적인 Python 설치는 커널 호환성을 설정하지 않습니다.
빌드 또는 컴파일러 오류
Linux, GCC, Python 및 일치하는 CUDA/CANN 버전을 확인하세요. 관련 없는 툴체인 버전을 설치하는 대신 환경을 격리하고 첫 번째 실패한 빌드 단계를 검사하세요.
플랫폼 변수가 누락되었습니다.
DEEPINFER_ACCELERATOR를 nvidia로 내보내거나 활성화된 환경에서 승천하고 후속 실행을 위해 보관합니다. 설치된 하드웨어 및 라이브러리와 일치하는 플랫폼을 선택하십시오.
체크포인트를 해결할 수 없습니다.
유효한 모델 ID 또는 config.json 및 가중치가 포함된 기존 호환 디렉터리를 사용하세요. 환경 재정의가 활성화되었다고 가정하기 전에 권한과 명시적인 --model_name 인수를 확인하세요.
장치 수가 잘못되었거나 메모리가 부족합니다.
눈에 보이는 장치, 병렬 구성 및 모델 메모리 요구 사항을 확인하세요. 장치 수를 줄이는 것은 자동으로 유효하지 않습니다. 사용 가능한 하드웨어에 맞는 문서화된 구성을 선택합니다.

자주 묻는 질문

공식 출처 및 모델 배경

실행하기 전에 현재 지원 및 명령을 확인하십시오. 저장소는 아래 날짜 이후에 변경될 수 있습니다. 링크된 모델 문서는 추가 하드웨어 호환성 보장이 아닌 배경 정보를 제공합니다.

확인된 소스:

공식 읽어보기소스 빌드 스크립트공식 사례추론 배포 Q&A벤치마크 재현 스크립트아파치 2.0 라이센스모델 중량 및 모델 라이센스
DeepSeek-V4.1-Flash-1017 모델 가이드 읽기 →