BF16・トランスフォーマー/SGLang
以下の Python の例では Transformers を使用します。公式カードには、テキスト応答を提供するための SGLang もリストされています。
Liquid AI・マルチモーダルモデルガイド
LFM3-Omni：見て、聞いて、応答するモデル
テキストと音声による応答を備えた、テキスト、画像、ビデオ、オーディオ入力用のコンパクトなモデル。仕様を確認し、ダウンロードを選択して、公式のサンプルを開始してください。
独立したガイド。プレイグラウンドは Liquid AI によってホストされており、サインインが必要な場合があります。以下のベンチマーク数値は開発者によって報告されたものです。このサイトでは推論テストを実行していません。
確認した情報
LFM3-Omni-2Bの仕様
| プロパティ | 仕様 |
|---|---|
| 合計パラメータ | 2.17B |
| コンテキストウィンドウ | 32K トークン、入力と出力で共有 |
| 入力 | テキスト、画像、ビデオ、オーディオ (16 kHz) |
| 出力 | テキスト、音声 (24 kHz)、またはテキストと音声が交互に挿入されたもの |
| デフォルトのビデオサンプリング | 2fps;ビデオごとに 4 ～ 384 フレーム |
| 言語サポート | 16 のテキスト言語。中国語や英語を含む 19 の音声言語/ロケール |
| ライセンス | LFM Open License v1.0 |
これは非推論モデルです。画像やビデオは生成されず、enable_ Thinking=True はサポートされていません。パラメータ数が少ないと、最小 RAM 要件が確立されず、すべてのデバイスでのリアルタイム パフォーマンスが保証されません。
それを使って何ができるでしょうか？
- 01
音声で画像について質問する
画像と音声による質問を組み合わせて、テキストによる回答または音声による応答を要求します。
- 02
音声付きのビデオを理解する
目に見える行動と聞こえる出来事について一緒に質問してください。サウンドトラックをロードするには、チュートリアルで明示的に設定する必要があります。
- 03
音声の文字起こしと翻訳
録音をテキストに変換したり、音声を翻訳したりできます。自分の言語、アクセント、背景雑音を使って正確さをチェックしてください。
- 04
音声会話を構築する
音声またはインターリーブされたテキストと音声をリクエストします。アプリケーションでは、引き続き録音、再生、会話の処理が必要です。
ダウンロードを選択してください
公式リポジトリを使用し、重みをランタイムに合わせてください。形式のサポートだけでは、すべてのランタイムが 4 つの入力モダリティすべてを公開することを意味するわけではありません。
GGUF · ラマ.cpp
ローカル CPU/GPU 推論用に量子化された重みを選択します。必要なモデル アセットとサポートされている機能については、Liquid AI の llama.cpp の手順に従ってください。
ウェイトは LFM Open License v1.0 で利用できます。商用利用には条件があります。モデルを使用または再配布する前に、公式ライセンスを読んでください。
最初の画像質問を実行します
公式モデルカードから採用されています。これらの例はローカルでの使用を目的として提供されており、このサイトでは実行されていません。別の Python 環境を使用します。このページではモデルは実行されません。
1. Python の依存関係をインストールする
python -m pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile
2. image_qa.py として保存します
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
checkpoint = "LiquidAI/LFM3-Omni-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
model = AutoModelForMultimodalLM.from_pretrained(
checkpoint, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(checkpoint, trust_remote_code=True)
messages = [{"role": "user", "content": [
{"type": "image", "image": "photo.jpg"},
{"type": "text", "text": "Describe only what is visible in this image."},
]}]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt",
).to(device)
with torch.no_grad():
result = model.generate(**inputs, max_new_tokens=256, generation_mode="text")
start = inputs["input_ids"].shape[1]
end = result.sequence_lengths[0]
print(processor.decode(result.sequences[0, start:end], skip_special_tokens=True))3. サンプルを実行します
python image_qa.py
photo.jpg をスクリプトの横に配置し、python image_qa.py を実行します。最初の実行では重みがダウンロードされます。利用可能な場合は CUDA が使用されます。それ以外の場合、この例では CPU float32 が使用されますが、速度が遅くなり、より多くのメモリが必要になる可能性があります。 trust_remote_code=True は公式リポジトリのカスタム実装を読み込みます。実行する前に確認してください。インストールまたはメディアのデコード エラーについては、リンクされたランタイム ドキュメントを参照してください。
オプション: ビデオのサウンドトラックを含めます
# Reuse model, processor and device from the image example.
messages = [{"role": "user", "content": [
{"type": "video", "video": "clip.mp4"},
{"type": "text", "text": "Describe the visible events and audible sounds."},
]}]
inputs = processor.apply_chat_template(
messages, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt",
load_audio_from_video=True,
processor_kwargs={"use_audio_in_video": True},
).to(device)
with torch.no_grad():
result = model.generate(**inputs, max_new_tokens=256, generation_mode="text")
start = inputs["input_ids"].shape[1]
end = result.sequence_lengths[0]
print(processor.decode(result.sequences[0, start:end], skip_special_tokens=True))画像の例からインポートしてロードされたモデルを再利用し、会話と生成コードをこのブロックに置き換えます。オーディオ トラックを含む Clip.mp4 を提供します。 load_audio_from_video=True と use_audio_in_video=True の両方が必要です。それらがないと、フレームのみが渡されます。メディアが長いほど、より多くのコンテキストとメモリを消費します。
コンテキスト付きの公式ベンチマーク
開発者が報告した結果であり、独立したレビューではありません。この表は、モデル カードの 3 つのタスクを再現しています。 3 つとも高いほど良い (↑)。 2026年10月30日に確認。
| ベンチマーク ↑ | LFM3-Omni-2B | Qwen2.5-Omni-3B | Qwen2.5-Omni-7B | Gemma 4 E2B | Gemma 4 E4B | Phi-4 multimodal |
|---|---|---|---|---|---|---|
| Daily-Omni ↑ | 70.09 | 58.81 | 61.32 | 50.63 | 54.14 | 48.87 |
| WorldSense ↑ | 47.10 | 44.99 | 45.37 | 38.11 | 43.51 | 42.37 |
| OmniBench (overall) ↑ | 46.32 | 47.11 | 49.65 | 16.81 | 20.67 | 38.97 |
LFM3-Omni は、ビデオとオーディオの両方のタスクにおいて、Daily-Omni と WorldSense でリストされている 6 つのモデルをリードしています。画像と音声のタスクである OmniBench 全体では、その 46.32 は Qwen2.5-Omni-3B (47.11) および 7B (49.65) を下回っています。これは、コンパクトなオーディオビジュアルアシスタント用のテストをサポートするものであり、普遍的な優位性を主張するものではありません。
「3B」、「7B」、「E2B」、および「E4B」という名前はモデルのラベルであり、パラメータの総数を直接比較するものではありません。これらのスコアは、レイテンシ、メモリ使用量、アプリケーションの精度を測定するものではありません。モデルを選択する前に、ターゲット ハードウェア上の代表的なメディアを評価してください。
よくある質問
このページの公式 Liquid Playground リンクをクリックしてください。サインインが必要な場合があります。プレイグラウンドで利用可能なモデルとモダリティを確認してください。このサイトでは推論デモをホストしていません。
LiquidAI は、BF16 LFM3-Omni-2B チェックポイントと別の LFM3-Omni-2B-GGUF リポジトリを Hugging Face で公開しています。ダウンロード セクションを使用して、ランタイムの形式を選択します。
公式モデルカードには、テキストと音声の両方に中国語が記載されています。サポートは、言語、アクセント、タスク間で同じ精度を保証するものではありません。自分の例を検証してください。
文書化された出力はテキストと音声です。理解のために画像やビデオを受け入れます。画像とビデオの生成は出力機能に記載されていません。
公式 BF16 チェックポイントでこのページのトランスフォーマーの例を使用するか、GGUF の公式 llama.cpp ガイドに従ってください。メモリと速度は、精度、実行時間、ハードウェア、メディアの長さに依存します。このサイトでは最小要件を測定していません。
モデル カードは LFM Open License v1.0 を指定します。商用利用条件、再配布要件、全条件については、Liquid AI の公式ライセンス ページを確認してください。
公式情報源
仕様、例、スコアは変更される可能性があります。現在の詳細については、これらのファーストパーティのリファレンスを使用してください。