当前位置： 首页 > news >正文

使用llamafile 构建本地大模型运用

news 来源：原创 2024/4/28 14:53:08

安装

https://github.com/Mozilla-Ocho/llamafile

下载 

大模型文件，选择列表中任意一个

wget https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4.llamafile?download=true

https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#other-example-llamafiles

这里选择LLaVA 多模态的

使用

chmod +x llava-v1.5-7b-q4.llamafile 
./llava-v1.5-7b-q4.llamafile# --host xx.xx.xx.xx --port 8080

默认打开http://127.0.0.1:8080 即可开始对话

相关文章：

  • spring boot的返回值里面含有net.sf.json.JSONObject 报错net.sf.json.JSONNull[“empty“])]
  • ＜深度学习入门学习笔记P1＞——《深度学习》
  • 后端返回文件流pdf 下载
  • 【AIGC调研系列】Starling-LM-7B模型与其他模型相比的优势和劣势
  • 更高效稳定 | 基于ACM32 MCU的编程直流电源应用方案
  • C#WPF控件TextBlock详解
  • 通俗易懂：如何通过JVM参数来调整内存大小？
  • OpenFeign原理整理【Java面试】
  • Gitlab CI---could not read username for xxx: no such device or address
  • flutter 打包成web应用后怎么通过url跳转页面
  • Chrome 插件 tabs API 解析
  • uniApp使用XR-Frame创建3D场景(8)粒子系统
  • 目标检测+车道线识别+追踪
  • pulsar: kafka on pulsar之把pulsar当kafka用
  • 【直播课】2024年PostgreSQL CM认证实战培训课程于4月27日开课！
  • 2017届校招提前批面试回顾
  • 78. Subsets
  • Angular6错误 Service: No provider for Renderer2
  • DataBase in Android
  • Sass Day-01
  • Service Worker
  • Spring Cloud Alibaba迁移指南（一）：一行代码从 Hystrix 迁移到 Sentinel
  • UEditor初始化失败（实例已存在，但视图未渲染出来，单页化）
  • use Google search engine
  • Web Storage相关
  • webpack+react项目初体验——记录我的webpack环境配置
  • XML已死 ？
  • 对象管理器（defineProperty）学习笔记
  • 分享一个自己写的基于canvas的原生js图片爆炸插件
  • 搞机器学习要哪些技能
  • 解决iview多表头动态更改列元素发生的错误
  • 前嗅ForeSpider教程：创建模板
  • 小试R空间处理新库sf
  • 容器镜像
  • # Swust 12th acm 邀请赛# [ E ] 01 String [题解]
  • #if和#ifdef区别
  • （9）STL算法之逆转旋转
  • （C语言版）链表（三）——实现双向链表创建、删除、插入、释放内存等简单操作...
  • (html转换)StringEscapeUtils类的转义与反转义方法
  • (Repost) Getting Genode with TrustZone on the i.MX
  • (二十五)admin-boot项目之集成消息队列Rabbitmq
  • （四）汇编语言——简单程序
  • （一）【Jmeter】JDK及Jmeter的安装部署及简单配置
  • (转)Linux整合apache和tomcat构建Web服务器
  • **PyTorch月学习计划 - 第一周；第6-7天: 自动梯度（Autograd）**
  • .htaccess配置重写url引擎
  • .libPaths()设置包加载目录
  • .Net 6.0 处理跨域的方式
  • .net core开源商城系统源码，支持可视化布局小程序
  • .net core使用ef 6
  • .Net IOC框架入门之一 Unity
  • .NET开源的一个小而快并且功能强大的 Windows 动态桌面软件 - DreamScene2
  • .net开源工作流引擎ccflow表单数据返回值Pop分组模式和表格模式对比
  • .NET序列化 serializable，反序列化
  • @Autowired自动装配