BF16 · 트랜스포머 / SGLang
아래 Python 예제에는 Transformers를 사용하세요. 공식 카드에는 문자 응답을 제공하기 위한 SGLang도 나열되어 있습니다.
Liquid AI · 멀티모달 모델 가이드
LFM3-Omni: 보고 듣고 응답하는 모델
텍스트 및 음성 응답이 포함된 텍스트, 이미지, 비디오 및 오디오 입력을 위한 컴팩트 모델입니다. 사양을 살펴보고 다운로드를 선택한 후 공식 예제를 시작해보세요.
독립적인 가이드. 놀이터는 Liquid AI에서 호스팅하며 로그인이 필요할 수 있습니다. 아래 벤치마크 수치는 개발자가 보고한 것입니다. 이 사이트는 추론 테스트를 실행하지 않았습니다.
확인된 정보
LFM3-Omni-2B 사양
| 재산 | 사양 |
|---|---|
| 총 매개변수 | 2.17B |
| 컨텍스트 창 | 32K 토큰, 입력 및 출력으로 공유 |
| 입력 | 텍스트, 이미지, 비디오 및 오디오(16kHz) |
| 출력 | 텍스트, 음성(24kHz) 또는 인터리브된 텍스트 및 음성 |
| 기본 비디오 샘플링 | 2fps; 비디오당 4~384프레임 |
| 언어 지원 | 16개 텍스트 언어; 중국어 및 영어를 포함한 19개 음성 언어/로케일 |
| 라이센스 | LFM Open License v1.0 |
이것은 비합리적 모델입니다. 이미지나 비디오를 생성하지 않으며, 활성화_사고=True는 지원되지 않습니다. 매개변수 수가 적다고 해서 최소 RAM 요구 사항이 설정되거나 모든 장치에서 실시간 성능이 보장되는 것은 아닙니다.
그것으로 무엇을 할 수 있나요?
- 01
음성으로 이미지에 관해 질문하기
이미지를 음성 질문과 결합한 다음 텍스트 답변이나 음성 응답을 요청하세요.
- 02
소리로 영상을 이해하다
눈에 보이는 행동과 들리는 사건에 대해 함께 물어보세요. 사운드트랙을 로드하려면 튜토리얼에서 명시적인 설정이 필요합니다.
- 03
음성 기록 및 번역
녹음 내용을 텍스트로 변환하거나 음성을 번역해 보세요. 자신의 언어, 억양, 배경 소음으로 정확성을 확인하세요.
- 04
음성 대화 구축
음성이나 인터리브된 텍스트 및 오디오를 요청합니다. 애플리케이션에는 여전히 녹음, 재생 및 대화 처리가 필요합니다.
다운로드를 선택하세요
공식 저장소를 사용하고 가중치를 런타임에 일치시키세요. 형식 지원만으로는 모든 런타임이 네 가지 입력 형식을 모두 노출한다는 의미는 아닙니다.
GGUF · llama.cpp
로컬 CPU/GPU 추론을 위해 양자화된 가중치를 선택합니다. 필수 모델 자산 및 지원 기능에 대해서는 Liquid AI의 llama.cpp 지침을 따르세요.
가중치는 LFM Open License v1.0에서 사용할 수 있습니다. 상업적 사용에는 조건이 있습니다. 모델을 사용하거나 재배포하기 전에 공식 라이센스를 읽으십시오.
첫 번째 이미지 질문 실행
공식 모델 카드에서 채택되었습니다. 이러한 예제는 로컬 사용을 위해 제공되며 이 사이트에서 실행되지 않았습니다. 별도의 Python 환경을 사용하세요. 이 페이지에서는 모델이 실행되지 않습니다.
1. Python 종속 항목 설치
python -m pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile
2. image_qa.py로 저장
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
checkpoint = "LiquidAI/LFM3-Omni-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
model = AutoModelForMultimodalLM.from_pretrained(
checkpoint, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(checkpoint, trust_remote_code=True)
messages = [{"role": "user", "content": [
{"type": "image", "image": "photo.jpg"},
{"type": "text", "text": "Describe only what is visible in this image."},
]}]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt",
).to(device)
with torch.no_grad():
result = model.generate(**inputs, max_new_tokens=256, generation_mode="text")
start = inputs["input_ids"].shape[1]
end = result.sequence_lengths[0]
print(processor.decode(result.sequences[0, start:end], skip_special_tokens=True))3. 예제 실행
python image_qa.py
스크립트 옆에 photo.jpg를 배치한 다음 python image_qa.py를 실행합니다. 첫 번째 실행에서는 가중치를 다운로드합니다. 가능한 경우 CUDA가 사용됩니다. 그렇지 않으면 예제에서는 속도가 느려지고 더 많은 메모리가 필요할 수 있는 CPU float32를 사용합니다. trust_remote_code=True는 공식 저장소의 사용자 정의 구현을 로드합니다. 실행하기 전에 검토하세요. 설치 또는 미디어 디코딩 오류에 대해서는 링크된 런타임 문서를 참조하세요.
선택사항: 동영상의 사운드트랙 포함
# Reuse model, processor and device from the image example.
messages = [{"role": "user", "content": [
{"type": "video", "video": "clip.mp4"},
{"type": "text", "text": "Describe the visible events and audible sounds."},
]}]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt",
load_audio_from_video=True,
processor_kwargs={"use_audio_in_video": True},
).to(device)
with torch.no_grad():
result = model.generate(**inputs, max_new_tokens=256, generation_mode="text")
start = inputs["input_ids"].shape[1]
end = result.sequence_lengths[0]
print(processor.decode(result.sequences[0, start:end], skip_special_tokens=True))이미지 예제에서 가져오고 로드된 모델을 재사용하고 대화 및 생성 코드를 이 블록으로 바꿉니다. 클립.mp4에 오디오 트랙을 제공하세요. load_audio_from_video=True 및 use_audio_in_video=True가 모두 필요합니다. 그것들이 없으면 프레임만 전달됩니다. 미디어가 길수록 더 많은 컨텍스트와 메모리를 소비합니다.
맥락을 갖춘 공식 벤치마크
독립적인 검토가 아닌 개발자가 보고한 결과입니다. 테이블은 모델 카드의 세 가지 작업을 재현합니다. 세 가지 모두 높을수록 좋습니다(↑). 2026년 10월 30일에 확인함.
| 벤치마크 ↑ | LFM3-Omni-2B | Qwen2.5-Omni-3B | Qwen2.5-Omni-7B | Gemma 4 E2B | Gemma 4 E4B | Phi-4 multimodal |
|---|---|---|---|---|---|---|
| Daily-Omni ↑ | 70.09 | 58.81 | 61.32 | 50.63 | 54.14 | 48.87 |
| WorldSense ↑ | 47.10 | 44.99 | 45.37 | 38.11 | 43.51 | 42.37 |
| OmniBench (overall) ↑ | 46.32 | 47.11 | 49.65 | 16.81 | 20.67 | 38.97 |
LFM3-Omni는 비디오 및 오디오 작업 모두에서 Daily-Omni 및 WorldSense에 나열된 6개 모델을 주도합니다. 이미지 및 오디오 작업인 OmniBench 전체에서 46.32는 Qwen2.5-Omni-3B(47.11) 및 7B(49.65)를 뒤쫓습니다. 이는 보편적 우월성을 주장하는 것이 아니라 소형 시청각 보조 장치에 대한 테스트를 지원합니다.
"3B", "7B", "E2B" 및 "E4B"라는 이름은 모델 레이블이며 총 매개변수 수를 직접적으로 비교할 수는 없습니다. 이 점수는 대기 시간, 메모리 사용 또는 애플리케이션의 정확성을 측정하지 않습니다. 모델을 선택하기 전에 대상 하드웨어의 대표적인 미디어를 평가하십시오.
자주 묻는 질문
이 페이지의 공식 Liquid Playground 링크를 따르십시오. 로그인이 필요할 수 있습니다. 놀이터에서 사용 가능한 모델과 양식을 확인하세요. 이 사이트는 추론 데모를 호스팅하지 않습니다.
LiquidAI는 Hugging Face에 BF16 LFM3-Omni-2B 체크포인트와 별도의 LFM3-Omni-2B-GGUF 저장소를 게시합니다. 다운로드 섹션을 사용하여 런타임 형식을 선택하세요.
공식 모델 카드에는 텍스트와 음성 모두에 중국어가 나열되어 있습니다. 지원은 언어, 억양 또는 작업 전반에 걸쳐 동일한 정확성을 보장하지 않습니다. 자신의 예를 검증하십시오.
문서화된 출력은 텍스트와 음성입니다. 이해를 돕기 위해 이미지와 비디오를 받아들입니다. 이미지 및 비디오 생성은 출력 기능에 나열되지 않습니다.
공식 BF16 체크포인트와 함께 이 페이지의 Transformers 예제를 사용하거나 GGUF에 대한 공식 llama.cpp 가이드를 따르세요. 메모리와 속도는 정밀도, 런타임, 하드웨어 및 미디어 길이에 따라 달라집니다. 이 사이트는 최소 요구 사항을 측정하지 않았습니다.
모델 카드는 LFM Open License v1.0을 지정합니다. 상업적 사용 조건, 재배포 요구 사항 및 전체 약관은 Liquid AI의 공식 라이센스 페이지를 검토하세요.
공식 출처
사양, 예시 및 점수는 변경될 수 있습니다. 최신 세부정보를 보려면 이러한 자사 참조 자료를 사용하세요.