Farfalle.dev 是一个开源 ai 驱动的答案AI搜索引擎,定位为 Perplexity 的自托管替代品。它允许用户运行本地大型语言模型 (LLMs),例如 llama3、gemma、mistral 和 phi3,或通过 LiteLLM 使用自定义 LLMs。此外,它还支持 Groq/Llama3 和 OpenAI 的 GPT-4 和 GPT-3.5-turbo 2 4 等云模型。
Farfalle主要特征:
-
搜索提供商:Farfalle 与多个搜索提供商集成,包括 Tavily、Searxng、Serper 和 Bing 2。
-
本地和云模型:用户可以使用本地模型(llama3、mistral、gemma、phi3)或云模型(OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3)回答问题2。
-
自定义LLMs:通过LiteLLM,Farfalle支持自定义LLMs,增强其灵活性2。
-
技术堆栈:前端使用 Next.js 构建,后端使用 FastAPI 构建。它还使用 Redis 进行速率限制,使用 Logfire 进行日志记录 2。
-
部署选项:Farfalle 可以使用 Docker 或在 Render 和 Vercel 2 4 等平台上部署。
Farfalle入门:
要在本地开始使用 Farfalle:
先决条件:如果运行本地模型,请确保安装了 Docker 和 Ollama。
API 密钥:获取 Tavily、Serper、OpenAI、Bing 和 Groq 等可选服务的 API 密钥。
运行命令:
docker run \ -p 8000:8000 -p 3000:3000 -p 8080:8080 \ --add-host=host.docker.internal:host-gateway \ ghcr.io/rashadphz/farfalle:main
访问 http://localhost:3000 访问应用程序 .
Farfalle源代码可在 GitHub上获取。https://github.com/rashadphz/farfalle
数据评估
AI工具箱提供的Farfalle都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由AI工具箱实际控制,在2024年10月6日 上午4:22收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,AI工具箱不承担任何责任。