选择自己的模型
连接本地 Ollama,或配置支持的云端模型服务。不同选择决定硬件需求、使用成本和提示词的处理位置。
Vane 将搜索后端与语言模型结合,生成附带来源链接的回答。应用采用 MIT 许可,连接的模型和外部服务仍有各自的使用条款。
连接本地 Ollama,或配置支持的云端模型服务。不同选择决定硬件需求、使用成本和提示词的处理位置。
Vane 使用 SearXNG 检索网页。应打开引用页面核实是否支持回答;附带引用并不保证内容准确。
通过持久化卷保存应用数据,自行控制更新和访问。同时也需要负责存储、备份与服务可用性。
以下依据官方文档比较使用方式,不是准确率或速度评测。功能和限制可能变化,选型前请核对链接中的最新资料。
| 对比维度 | Vane · 自托管 | Perplexity · 托管服务 |
|---|---|---|
| 来源引用 | 结合检索结果生成回答并附来源链接,仍需核实原文。 | 提供带引用的联网回答,同样需要核实原文。 |
| 模型选择 | 配置本地 Ollama,或使用自己的凭证连接受支持服务商。 | 可用模型及选择方式取决于当前产品与套餐。 |
| 自托管 | 在自己控制的基础设施上运行 MIT 许可的应用。 | 使用其托管产品;本页不涉及可自行部署的 Perplexity 版本。 |
| 文件问答 | 支持上传文档,处理能力取决于模型配置和文件支持情况。 | 提供文件上传与分析,用量限制随套餐变化。 |
| 数据流向 | 自行控制应用和存储;联网搜索仍会发出请求,云端模型会增加外部处理方。 | 请求由托管服务处理,遵循其产品政策和账户设置。 |
| 维护成本 | 需要自行更新、下载模型、备份并管理网络访问。 | 由服务商维护服务,无需管理本地推理环境。 |
| 使用费用 | MIT 应用无许可费用,但硬件、电力、托管和付费服务商仍可能产生成本。 | 有免费及付费套餐,限制不同;应核实实时条款,不应假定用量无限。 |
下面是简化的逻辑流程。Vane 负责组织检索和模型调用,SearXNG 本身不是语言模型。
你的问题
Vane
SearXNG 检索
本地或云端模型
回答与引用
聊天和需要时的向量生成均选择已下载的本地模型。请检查所有服务商配置;只选择 Ollama 并不能证明每个环节都在本地。Ollama 也提供云端功能,可在其设置中关闭。
网页搜索需要联网。即使回答由本地模型生成,搜索引擎和访问的网站仍可能收到查询、衍生搜索词及连接元数据。
选择云端服务商后,提示词和相关上下文会发送给对方。发送文档或敏感资料前,应查看其留存和计费条款。
本教程默认仅供本机访问。共享实例前,应配置 HTTPS 和身份验证/访问控制;模型接口也需要保护,开放端口并不等于设置了访问策略。
先在自己的电脑安装 Docker 与 Ollama。下方命令供你在本机运行;本站不会替你安装软件或下载模型。
启动 Docker 和 Ollama 服务,根据内存和磁盘空间选择模型。CPU 也可推理,但速度可能较慢;本指南不承诺固定的 GPU 或内存门槛。
拉取 llama3.2:3b 作为小型文本聊天起点。nomic-embed-text 用于文档检索的向量生成,不是聊天模型。这些仅为示例,不表示效果等同商业系统。
官方完整镜像包含 SearXNG。本指南将网页服务映射到 127.0.0.1:3001,并将数据存入 vane-data。启动后打开 http://localhost:3001。
在 Vane 初始化界面添加 Ollama,填写下方对应系统的地址,选择已下载的聊天模型;需要文件检索时再配置 embedding 模型。提出事实性问题,并打开引用核对原文。
ollama pull llama3.2:3b ollama pull nomic-embed-text ollama list
docker run -d --name vane --restart unless-stopped -p 127.0.0.1:3001:3000 -v vane-data:/home/vane/data itzcrazykns1337/vane:latest
以单行展示的命令可用于 PowerShell 和 bash/zsh。入门路径使用会变化的 latest 标签;需要可重复部署时,请查看发布说明并固定镜像版本或 digest。
Docker 容器中的 localhost 指向容器本身,不是宿主机。请使用正确的宿主机地址,并确认能访问 Ollama 的监听端口。
在 Vane 中使用 http://host.docker.internal:11434。如无法连接,请按 Ollama FAQ 配置监听地址并重启应用;仅允许 Docker 主机/容器网络访问。
使用 http://<HOST_PRIVATE_IP>:11434,并替换为实际可访问的宿主机地址。仅添加 host-gateway 域名映射,无法连接只监听 127.0.0.1 的服务。请先配置监听和防火墙再重试。
先运行 sudo systemctl edit ollama.service,填入下方覆盖配置并保存,再单独执行重新加载命令。0.0.0.0 会监听全部接口:请在防火墙仅允许 Docker/私有网络访问,切勿将 11434 转发到公网。Windows 与 macOS 的环境变量设置方式不同,请参阅官方 FAQ。
[Service] Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl daemon-reload sudo systemctl restart ollama
先检查模型服务与容器日志,再检查搜索后端。
命名卷 vane-data 挂载到 /home/vane/data。替换容器后仍可保留数据,但删除卷会删除其中内容。升级前先备份。
请使用新的备份目录,避免覆盖旧备份。示例会暂停 Vane 后复制数据。备份可能包含配置、凭证、上传文件和对话,应私密保存。更新前保留备份并记录当前镜像 digest。
docker ps -a --filter name=vane docker logs --tail 100 vane
docker stop vane docker cp vane:/home/vane/data ./vane-backup docker start vane
docker pull itzcrazykns1337/vane:latest docker stop vane docker rm vane docker run -d --name vane --restart unless-stopped -p 127.0.0.1:3001:3000 -v vane-data:/home/vane/data itzcrazykns1337/vane:latest
更新过程仅删除已停止的容器,再使用相同数据卷和本机端口绑定启动新镜像。不要删除 vane-data。更新后请检查配置、执行搜索并核对引用;回滚时还可能需要恢复与旧版本兼容的数据。
在 Vane 初始化界面选择支持的云端服务商并填写自己的 API 密钥。云端用量单独计费,数据处理方式也不同。密钥保存在自己的实例配置中,不要提交给本站。
slim 镜像通过 SEARXNG_API_URL 连接已有 SearXNG。官方说明要求启用 JSON 格式和 Wolfram Alpha 引擎。请填写 Vane 容器可访问的地址,而非容器自身的 localhost;完整命令见官方指南。
优点:本地模型可配置、应用源码可查看、存储由自己控制。代价:需要自行安装,模型效果、本地推理速度和日常维护也由自己负责。
优点:无需运行模型环境,即可使用托管搜索体验。代价:需要接受服务提供的模型、套餐限制和托管数据处理方式。请结合实际研究任务比较当前功能。
这是适用性分析,不是性能评测。小型本地文本模型不会自动具备产品介绍中的全部能力;图像理解和研究效果取决于实际配置的模型。
功能与安装说明依据下列资料整理,核验日期见下方。运行命令前请核对最新版本说明。