Lazy loaded image
本地部署AI并创建智能体/工作流
Words 505Read Time 2 min
2025-1-17
2025-4-3
type
status
date
slug
summary
tags
category
icon
password
😀
最近工作中听见同事在交流,能否用AI处理多语言本地化的问题,直接扔个语言表让它自动处理好所以国家的语言翻译,我也来了兴趣,在AI横行的今天,不去了解了解好像也说不过去,于是发现了dify和ollama两个工具,可以本地化部署大模型,并且创建工作流应用。

前期准备

下载好docker desktop,ollama即可

流程

1.用git clone下dify的代码
dify
langgeniusUpdated Feb 24, 2025
,或者直接下载zip压缩包到本地解压。
 
2.进入dify的docekr控制台执行docker compose up -d,执行可能会有80端口冲突,记得把docker-compose.yaml文件中的80端口改为83或其他。
 
3.进入localhost:83(你修改的端口号)即可,注册好账号,然后点击页面右上角的用户名,进入设置
notion image
可以选中获取APIkey获取通义千问等大模型,我这边是接入用ollama本地化部署的大模型。
 
4.进入Ollama查看可以本地化部署的大模型,点进去看也有具体的控制台命令,直接cmd开控制台部署即可,如果后期下载速度慢,可以ctrl+c停止后再次继续下载,如果不想下在c盘,可以配个环境变量。
notion image
notion image
 
5.接入dify,控制台输入ollama list看自己部署的模型信息,其中的name就是模型名称,模型的url就是http://(你的ip地址):11434。其中11434是ollama的运行地址,本地ip可以去控制台输ipconfig查看。
notion image
notion image
💡
这样就能成功部署了,然后可以体验其中的各类功能,聊天助手,知识库助手,智能体以及工作流,这里的工作流就可以用于解决文章开头提到的问题了
上一篇
混元AI-开源3D大模型2.0
下一篇
Unity一键处理图片工具

Comments
Loading...