オープンソース AI 検索 · Docker + Ollama

Vane:自分でホストできるオープンソース検索AI

独自のモデルとストレージを使用して、検索と回答のワークフローを構築します。 Vane と Perplexity を比較し、Ollama を使用してローカルの Docker セットアップに従います。

ホスト型検索サービスではなく、独立したガイドです。インストール例は文書化された手順であり、Vane が実行またはベンチマークされたと主張するものではありません。

チェックしたソース:

ヴェインとは何ですか?

Vane は、検索バックエンドと言語モデルを組み合わせて、ソース リンク付きの回答を生成します。アプリケーションは MIT ライセンスを取得しています。接続するモデルとサービスには独自の条件があります。

モデルを選択してください

Ollama をローカルに接続するか、サポートされているクラウド プロバイダーを構成します。選択によって、ハードウェアのニーズ、コスト、プロンプトが処理される場所が変わります。

ソースリンクで検索

Vane は Web 検索に SearXNG を使用します。引用されたページを開いて、その答えが裏付けられているかどうかを確認してください。引用は正確さを保証するものではありません。

実行中のサービスを所有する

アプリケーション データを永続ボリュームに保持し、更新とアクセスを制御します。また、ストレージ、バックアップ、可用性についても責任を負います。

ヴェイン vs パープレクシティ

公式ドキュメントに基づいたワークフローの比較であり、精度や速度のベンチマークではありません。機能と制限は変更される可能性があります。選択する前にリンクされたソースを確認してください。

自己管理型アプリケーションとホストされた応答エンジン
次元Vane · セルフホスト型複雑性 · ホスト型サービス
出典の引用ソースリンク付きの検索に基づいた回答。リンク先のページを確認してください。引用を含むウェブファーストの回答。リンク先のページを確認してください。
モデルの選択ローカルの Ollama またはサポートされているプロバイダーを独自の資格情報で構成します。モデルと選択オプションは、現在の製品とプランによって異なります。
セルフホスティングMIT ライセンスのアプリケーションを、管理するインフラストラクチャ上で実行します。ホストされた製品を使用します。この比較は、自己ホスト可能な Perplexity エディションについては説明しません。
質問をファイルするドキュメントのアップロード。処理は、構成されたモデルとファイルのサポートによって異なります。プランに依存する制限付きのファイルのアップロードと分析。
データの流れアプリとストレージを制御するのはあなたです。検索リクエストは依然としてマシンから送信されます。クラウド モデルでは、別のプロセッサが追加されます。リクエストは、ホストされたサービスの製品ポリシーとアカウント設定に基づいて処理されます。
メンテナンス更新、モデルのダウンロード、バックアップ、ネットワーク アクセスを管理します。ベンダーがサービスを運営します。ローカル推論スタックを維持する必要はありません。
コストMIT ではアプリケーションのライセンス料はかかりません。ハードウェア、電気、ホスティング、および有料プロバイダーの予算。制限が異なる無料プランと有料プラン。無制限のアクセスを前提とするのではなく、現在の条件を確認してください。

セルフホスティングの機能とデータの移動先

これは簡略化された論理フローです。 Vane は取得とモデル呼び出しを調整します。 SearXNG は直接言語モデルにはなりません。

  1. 01

    あなたの質問

  2. 02

    Vane

  3. 03

    SearXNGの取得

  4. 04

    ローカルまたはクラウドモデル

  5. 05

    回答 + 引用

局所的な推論

チャット用にローカルにダウンロードしたモデルを選択し、必要に応じて埋め込みを選択します。構成されているすべてのプロバイダーを検査します。 Ollama のみを選択しても、すべてのステップがローカルであることは証明されません。 Ollama はクラウド機能も提供しており、設定で無効にすることができます。

ウェブ検索

Web 検索にはネットワーク アクセスが必要です。検索エンジンと訪問サイトは、回答がローカルで生成された場合でも、クエリ、派生検索、および接続メタデータを受け取ることがあります。

クラウド推論

クラウド プロバイダーを選択すると、プロンプトと関連コンテキストがそのプロバイダーに表示されます。文書や機密資料を送信する前に、保存条件と請求条件を確認してください。

このチュートリアルはローカルに保存してください。インスタンスを共有する前に、HTTPS と認証/アクセス制御をその前に置きます。モデルのエンドポイントも保護します。ポートを開くことはアクセス ポリシーではありません。

Docker + Ollama を使用したセルフホスト Vane

Docker と Ollama を自分のマシンにインストールします。以下のコマンドは、そこで実行する例です。この Web サイトでは、ソフトウェアのインストールやモデルのダウンロードは行われません。

  1. 01

    Docker と Ollama を準備する

    Docker と Ollama サービスを開始します。モデルのサイズを利用可能なメモリおよびディスク容量に合わせます。 CPU 推論は可能ですが、時間がかかる可能性があります。ここでは、固定の GPU または RAM 要件は約束されていません。

  2. 02

    サンプルモデルをダウンロードする

    簡単なテキスト チャットの開始点として、llama3.2:3b をプルします。 nomic-embed-text は、チャット モデルではなく、ドキュメント検索のための埋め込みモデルです。これらは例であり、商用システムに対する同等性の主張ではありません。

  3. 03

    バンドルされたイメージを開始します

    公式のフルイメージにはSearXNGが含まれています。このガイドでは、Web アプリを 127.0.0.1:3001 にマップし、データを vane-data に保存します。起動後にhttp://localhost:3001を開きます。

  4. 04

    設定と検索

    Vane のセットアップでは、以下の OS のアドレスを使用して Ollama を追加し、ダウンロードしたチャット モデルを選択し、必要に応じてファイルを取得するための埋め込みモデルを構成します。事実に基づいた質問をしてから、引用を開いて原文を確認してください。

モデルをダウンロードしてリストする

ollama pull llama3.2:3b
ollama pull nomic-embed-text
ollama list

Vane の起動 · ローカル Web アクセスのみ

docker run -d --name vane --restart unless-stopped -p 127.0.0.1:3001:3000 -v vane-data:/home/vane/data itzcrazykns1337/vane:latest

単一行で示されているコマンドは、PowerShell および bash/zsh で機能します。この例では、導入パスに変更可能なlatestタグを使用しています。リリース ノートを確認し、反復可能な展開のためにイメージ バージョンまたはダイジェストを固定します。

コンテナをOllamaに接続する

Docker コンテナ内では、localhost はホスト マシンではなく、そのコンテナを指します。正しいホスト アドレスを使用して、Ollama リスナーに到達できることを確認します。

Windows / macOS · Docker デスクトップ

ベインにはhttp://host.docker.internal:11434を使用してください。接続できない場合は、Ollama FAQ に従ってリスナーを設定し、アプリを再起動します。ネットワーク アクセスを Docker ホスト/コンテナ ネットワークに制限します。

Linux · ホストネットワークの詳細

実際の到達可能なホスト アドレスには http://<HOST_PRIVATE_IP>:11434 を使用します。ホストとゲートウェイの DNS マッピングだけでは、127.0.0.1 のみにバインドされたサービスには到達できません。再試行する前に、リスナーとファイアウォールを構成してください。

sudo systemctl edit ollama.service を実行し、以下のオーバーライドを入力して保存し、リロード コマンドを個別に実行します。バインディング 0.0.0.0 はすべてのインターフェイスをリッスンします。ファイアウォール内の Docker/プライベート ネットワークのみを許可し、ポート 11434 をパブリック インターネットに転送しないでください。 Windows と macOS では、異なる環境設定手順が使用されます。公式FAQに従ってください。

Linux systemd オーバーライド、編集、リロード

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Linux Ollama サービスをリロードする

sudo systemctl daemon-reload
sudo systemctl restart ollama

トラブルシューティングのチェックリスト

モデル サービスとコンテナーのログから始めて、次に検索バックエンドを確認します。

ダウンロードしたモデルが表示されない
ホスト上で ollama list を実行し、モデル タグを検証して、Vane が同じ Ollama サービスに到達していることを確認します。別のインストールへのダウンロードが成功するだけでは十分ではありません。
オラマに接続できません
OS 固有のホスト アドレス、ポート、リスナー、およびファイアウォールを確認してください。コンテナ localhost はホストではありません。モデル API を公開することでこれを解決しないでください。
ポートまたはコンテナ名はすでに使用されています
docker ps -a を検査します。コンテナ ポート 3000 を維持したまま別の未使用のホスト ポートを使用するか、古いインスタンスを意図的に停止します。無関係なコンテナは削除しないでください。
検索してもソースが返されません
Vane ログを検査し、より単純なパブリック クエリを試して、SearXNG が設定されたエンジンに到達できることを確認します。別の SearXNG インスタンスについては、その URL と JSON サポートを確認してください。
応答が遅い、またはメモリが不足しています
より小さいモデルまたはより短いコンテキストを試し、利用可能なメモリとディスクを確認し、Ollama ログを確認します。軽量モデルは出発点であり、高品質の研究を保証するものではありません。

データを保存し、ログを検査して更新します

名前付きボリューム vane-data は /home/vane/data にマウントされます。コンテナを交換しても寿命が長くなります。ボリュームを削除すると、その内容も削除されます。アップグレードする前にバックアップしてください。

以前のバックアップを上書きするのではなく、新しいバックアップ ディレクトリを選択してください。この例では、コピー中に Vane を一時停止します。バックアップには、構成、認証情報、アップロード、会話が含まれる場合があります。それらを個人的に保管してください。更新する前にバックアップを保存し、現在のイメージのダイジェストを記録してください。

コンテナのステータスとログを検査する

docker ps -a --filter name=vane
docker logs --tail 100 vane

停止、バックアップのコピー、再起動

docker stop vane
docker cp vane:/home/vane/data ./vane-backup
docker start vane

データ量を再利用しながらアップデートする

docker pull itzcrazykns1337/vane:latest
docker stop vane
docker rm vane
docker run -d --name vane --restart unless-stopped -p 127.0.0.1:3001:3000 -v vane-data:/home/vane/data itzcrazykns1337/vane:latest

この更新では、停止したコンテナーのみが削除され、その後、同じボリュームとローカル ポート バインドを使用して新しいイメージが開始されます。Vaneデータは削除しないでください。更新後、設定を確認し、検索を実行して引用を調べます。ロールバックには、古いバージョンと互換性のあるデータの復元が必要になる場合もあります。

その他の構成パス

クラウドモデルを使用する

Vane のセットアップでサポートされているクラウド プロバイダーを選択し、独自の API キーを指定します。クラウドの使用には、個別の請求とデータ処理が必要です。キーをインスタンス構成に保持します。決してこのウェブサイトに送信しないでください。

既存のSearXNGインスタンスを使用する

スリム イメージは、SERXNG_API_URL 経由で既存の SeaXNG URL を使用します。公式ガイドでは、JSON形式とWolfram Alphaエンジンを有効にする必要があります。ローカルホストではなく、Vane コンテナから到達可能な URL を使用します。完全なコマンドについては、リンクされた手順に従ってください。

あなたのワークフローに適しているのはどれですか?

制御にはVaneを選択してください

利点: 構成可能なローカル モデル、検査可能なアプリケーション コード、およびアプリ ストレージの制御。トレードオフ: インストール、モデルの品質、ローカル推論の遅延、継続的なメンテナンスはお客様の責任です。

利便性のために Perplexity を選択してください

利点: モデル スタックを実行せずに管理された検索エクスペリエンスを実現します。トレードオフ: サービス定義モデル、プラン制限、ホストされたデータ処理。現在の機能を実際の研究タスクと比較します。

これは適合性評価であり、ベンチマークではありません。小規模なローカル テキスト モデルは、Vane の製品説明に示されているすべての機能を継承しているわけではありません。画像の理解と研究の品質は、構成するモデルによって異なります。

よくある質問

公式リファレンス

機能とインストールの詳細は、記載された日付に確認された以下のソースに基づいています。コマンドを実行する前に、最新のリリースの手順を参照してください。