当前位置： 首页 > news >正文

Qwen2-7b+AnythingLLM+ollama 部署API调用

news 来源：原创 2024/9/20 3:47:59

一、ollama 安装

下载地址：Ollama

ollama常用命令

ollama serve 启动ollama

ollama create 从模型文件创建模型

ollama show 显示模型信息

ollama run 运行模型

ollama pull 从注册表中拉取模型

ollama push 将模型推送到注册表

ollama list 列出模型

ollama cp 复制模型

ollama rm 删除模型

ollama help 获取有关任何命令的帮助信息

二、AnythingLLM安装

下载地址：AnythingLLM | The all-in-one AI application for everyone

三、下载Qwen2-7b

1、安装ollama完成后，在window环境下，打开CMD窗口输入以下命令，开始自动下载安装

ollama run qwen2:7b

安装好qwen2-7b可以关掉了，顺便先在CMD窗口下载一个embedding模型

ollama pull nomic-embed-text

四、AnythingLLM配置Qwen2-7b

点击配置

选择刚刚我们在ollama安装的模型

Embedder模型配置

选择刚才安装好的nomic-embed-text模型

向量数据库默认

五、创建聊天窗口

基本的聊天的窗口已经部署好了，可以随意的对话。 

以下是创建的聊天空间的一些基本设置说明讲解

六、创建基于文件的知识库

根据文件大小和电脑性能，来embedding文件

提问文档中的相关内容，会直接根据文档返回

六、API接口生成

创建密钥

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • Linux 进程概念
  • 高效清理优化工具 Sonoma Cache Cleaner mac 19.0.6注册激活版
  • PCIe学习笔记（20）
  • FFmpeg音频重采样基本流程
  • 代码随想录第34天|动态规划
  • 线程(Pthread)
  • 延时队列与redis and rabbitmq
  • 大模型学习笔记 - LLM 解码与部署
  • LVS 调度器 nat和DR模式
  • Android中的Binder
  • 【Android】安卓打开指定厂商的应用市场
  • 打开一个页面，整个过程会使用哪些协议?
  • UE基础 —— 介绍与安装
  • Python爬虫入门实战（详细步骤）
  • 【mDNS协议】通过UDP广播在局域网内实现设备自动发现和连接的协议
  • 【JavaScript】通过闭包创建具有私有属性的实例对象
  • 【翻译】babel对TC39装饰器草案的实现
  • CSS 三角实现
  • CSS 提示工具(Tooltip)
  • extract-text-webpack-plugin用法
  • SQLServer之创建显式事务
  • Storybook 5.0正式发布：有史以来变化最大的版本\n
  • 百度贴吧爬虫node+vue baidu_tieba_crawler
  • 分布式任务队列Celery
  • 技术胖1-4季视频复习— (看视频笔记)
  • 检测对象或数组
  • 简单实现一个textarea自适应高度
  • 移动端解决方案学习记录
  • 原生Ajax
  • 云大使推广中的常见热门问题
  • C# - 为值类型重定义相等性
  • ​html.parser --- 简单的 HTML 和 XHTML 解析器​
  • #Datawhale AI夏令营第4期#多模态大模型复盘
  • #mysql 8.0 踩坑日记
  • $refs 、$nextTic、动态组件、name的使用
  • (07)Hive——窗口函数详解
  • （175）FPGA门控时钟技术
  • （2.2w字）前端单元测试之Jest详解篇
  • （4）STL算法之比较
  • (ctrl.obj) : error LNK2038: 检测到“RuntimeLibrary”的不匹配项: 值“MDd_DynamicDebug”不匹配值“
  • （附源码）ssm码农论坛 毕业设计 231126
  • （经验分享）作为一名普通本科计算机专业学生，我大学四年到底走了多少弯路
  • （一）RocketＭＱ初步认识
  • (转)Linux下编译安装log4cxx
  • （转）memcache、redis缓存
  • （总结）Linux下的暴力密码在线破解工具Hydra详解
  • .NET CORE 第一节 创建基本的 asp.net core
  • .NET Core 和 .NET Framework 中的 MEF2
  • .NET Core/Framework 创建委托以大幅度提高反射调用的性能
  • .NET Core日志内容详解，详解不同日志级别的区别和有关日志记录的实用工具和第三方库详解与示例
  • .NET 读取 JSON格式的数据
  • .net 开发怎么实现前后端分离_前后端分离：分离式开发和一体式发布
  • .NetCore项目nginx发布
  • .NET编程C#线程之旅：十种开启线程的方式以及各自使用场景和优缺点
  • .Net开发笔记（二十）创建一个需要授权的第三方组件