专业的编程技术博客社区

网站首页 > 博客文章 正文

利用开源Dify+ollama构建本地智能体

baijin 2024-10-23 08:50:11 博客文章 6 ℃ 0 评论

相信用过字节跳动coze的同学一定对AI智能体不陌生。现在可以通过开源Dify+ollama轻松实现本地智能体的搭建。

  1. 搭建Dify

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排,并同时提供了一套易用的界面和 API。

Dify官方提供了试用环境可以尝试体验,https://cloud.dify.ai/apps。

中文教程可访问:https://docs.dify.ai/v/zh-hans

官方推荐使用docker技术部署Dify,这里可能需要对docker compose有一定了解。docker compose是单机docker编排工具。使用docker compose可以很方便的进行容器部署更新。

从github下载源码,进入源码目录

cd docker

docker compose up -d

等待容器部署完成就可以进行访问了

  1. 使用ollama运行本地大模型

Dify不仅可以对接商业大模型如openAI ,文心一言, 智谱清言等,还可以使用ollama运行本地开源大模型。

可以参考之前的文章如何通过ollama运行本地大模型。这里重点说明一下Dify如何对接开源大模型。

剩下的就可以像使用coze一样使用Dify了。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表