当前位置： 首页 > news >正文

大模型量化技术-GPTQ

news 来源：原创 2024/5/17 17:22:15

大模型量化技术-GPTQ

2022年，Frantar等人发表了论文 GPTQ：Accurate Post-Training Quantization for Generative Pre-trained Transformers。
在这里插入图片描述

在这里插入图片描述

这篇论文详细介绍了一种训练后量化算法，适用于所有通用的预训练 Transformer模型，同时只有微小的性能下降。

GPTQ算法需要通过对量化模型进行推理来校准模型的量化权重。详细的量化算法在原始论文中有描述。

基于auto-gptq 开源实现库，transformers 支持使用GPTQ算法量化的模型。
在这里插入图片描述

在这里插入图片描述

GPTQ：Accurate

相关文章：

  • [Pytorch]：PyTorch中张量乘法大全
  • 从零开始学RSA:N不互素
  • 【科研笔记】知识星球不可选择内容爬虫
  • QT中的文件操作QFile、QDataStream、QTextStream、QBuffer
  • Postman和Python Request测试多行Form-data
  • Android 全局配置Gradle依赖及插件仓库
  • Transformer - Outputs(Shifted Right)
  • typdef：深入理解C语言中typdef关键词的用法
  • uniapp切换中英文
  • Linux下docker运行python
  • uniApp使用uview对vuex的二次封装实现全局变量
  • 【Spring Boot 源码学习】ConditionEvaluationReport 日志记录上下文初始化器
  • (译) 理解 Elixir 中的宏 Macro, 第四部分：深入化
  • 【ZZULIOJ】1030: 判断直角三角形（Java）
  • easyexcel-获取文件资源和导入导出excel
  • 77. Combinations
  • android图片蒙层
  • Java方法详解
  • js学习笔记
  • Linux CTF 逆向入门
  • mongo索引构建
  • React-Native - 收藏集 - 掘金
  • 不发不行！Netty集成文字图片聊天室外加TCP/IP软硬件通信
  • 测试开发系类之接口自动化测试
  • 从零搭建Koa2 Server
  • 对象管理器（defineProperty）学习笔记
  • 基于MaxCompute打造轻盈的人人车移动端数据平台
  • 罗辑思维在全链路压测方面的实践和工作笔记
  • 我的面试准备过程--容器(更新中)
  • 在weex里面使用chart图表
  • 最近的计划
  • ionic入门之数据绑定显示-1
  • JavaScript 新语法详解：Class 的私有属性与私有方法 ...
  • 关于Kubernetes Dashboard漏洞CVE-2018-18264的修复公告
  • ​LeetCode解法汇总1410. HTML 实体解析器
  • #define 用法
  • （3）nginx 配置(nginx.conf)
  • （第9篇）大数据的的超级应用——数据挖掘-推荐系统
  • （二开）Flink 修改源码拓展 SQL 语法
  • (翻译)terry crowley： 写给程序员
  • （附源码）spring boot公选课在线选课系统 毕业设计 142011
  • （十）c52学习之旅-定时器实验
  • （转）利用PHP的debug_backtrace函数，实现PHP文件权限管理、动态加载 【反射】...
  • (转载)深入super，看Python如何解决钻石继承难题
  • ＊Django中的Ajax 纯js的书写样式1
  • .bat批处理（九）：替换带有等号=的字符串的子串
  • .bat批处理（六）：替换字符串中匹配的子串
  • .NET CLR基本术语
  • .Net Core与存储过程(一)
  • .Net IE10 _doPostBack 未定义
  • .Net Memory Profiler的使用举例
  • .net 开发怎么实现前后端分离_前后端分离：分离式开发和一体式发布
  • .Net 垃圾回收机制原理（二）
  • .NET/C# 推荐一个我设计的缓存类型（适合缓存反射等耗性能的操作，附用法）
  • .NET6实现破解Modbus poll点表配置文件