mac本地搭建ollama

mac本地搭建ollama webUI

*简介：ollama-webUI是一个开源项目，简化了安装部署过程，并能直接管理各种大型语言模型（LLM）。本文将介绍如何在你的macOS上安装Ollama服务并配合webUI调用api来完成聊天。

开源地址

• https://github.com/812781385/ollama-webUI.git，开源不易感谢star
• 微信公众号

环境要求

• macos系统
• nodejs >= 18
• 没错，其他的都不需要了

目标

• 运行ollama
• 启用webUI
• 启用API服务
• 启用RAG

安装ollama

• 官网直接安装，ollama官网。
• 选择macos，点击download for mac下载
• 得到的是个压缩包，解压，然后一路next
• 安装完成，直接使用
• 系统可会默认启动ollama，在电脑的右上角能看到这个标记，如果没有，请看下一步

在命令行使用ollama

• 打开终端，输入ollama -h,查看到所有的命令。

• 点击这里搜索你需要的模型，然后直接启动，例如：ollama run llama3，可看到下载速度非常快，取决于你的宽带。

• 下载完成，现在可以与他聊天了

• control + D退出聊天

调用ollama的API

• ollama提供api的形式调用，直接查看官网文档
• ollama serve启动服务，发现端口被占用

需要点击电脑右上角的ollama图标来退出ollama，再来运行ollama serve

• ollama服务默认是http://127.0.0.1:11434，目前在macOS上修改ip和端口无效，官方未解决（2024-5-9）。
• 调用api会出现跨域，所以需要做一个服务端。我已经做好了，点击查看源码，感谢star

安装ollama-webUI和serve

• git clone https://github.com/812781385/ollama-webUI.git

• cd client

• pnpm i

• 修改.env 里的VITE_APP_AXIOS_BASE_URL 为自己的ip地址

• npm run dev 运行webUI

• cd serve

• npm i

• npm run dev 运行服务端

• 浏览器访问http://localhost:8080/

• 点击设置按钮，打开设置对话框，输入模型名称，例如：qwen:0.5b，点击按钮开始拉取模型
  
  

• 选择刚刚拉取好的模型后，点击确定。就可以开始聊天了

使用RAG

什么是RAG，例如你问AI：你的名字叫什么？，他会告诉你他是个ai模型...，这不是我想要的答案，怎么办？有两种方式，1.训练自己的模型。2.在prompt里嵌入自己的文案。例如：你的名字叫小虎，请参考这个问题来回答: 你的名字叫什么，这时候他会回答，他的名字叫小虎。

• 如果你要使用RAG，请先安装chroma数据库，点击查看官网文档
• chroma run 启动数据库服务
• 你还需拉取ollama的嵌入式模型mxbai-embed-large，点击查看官网文档
• 然后调用serve/app/router里的接口，添加数据router.post('/addData', controller.chat.addDataForDB);
• 在webUI的设置对话框里，开启RAG开关，就可以聊天了

模型推理内存损耗

• 以llama2为例计算
  
  

视频演示

播放