当前位置： 首页 > news >正文

从头搭建GPT(Andrej Karpathy) 笔记

news 来源：原创 2024/5/17 15:45:47

本文来自openAI联合创始人，曾担任特斯拉视觉部门总监的Andrej的视频Let’s build GPT。

文章目录

      • 简单介绍
      • 数据处理部分
      • 什么是tokenize
      • 计算loss
      • 直觉上的self-attention
      • 矩阵乘法实现self-attention:
      • self-attention和cross-attention有什么区别
      • attention中为什么要做scaling
      • 继续增加改进的点, 逐步实现transformer
      • 真实的GPT训练步骤

当然这里的GPT并不是原版GPT，只是一个nanoGPT, 不过大体结构差不多

相关文章：

  • Vue中的MVVM
  • Jenkins磁盘空间批量清理脚本
  • 如何在Windows 10中打开屏幕键盘？这里有详细步骤
  • css的各种样式
  • Axure中后台系统原型模板，B端页面设计实例，高保真高交互54页
  • Flink SQL 基于Update流出现空值无法过滤问题
  • FreeRTOS从代码层面进行原理分析(5 对实时性的探究)
  • Kafka硬核干货
  • macos下 jupyter服务安装和vscode链接密码设置 .ipynb文件
  • 2024年03月CCF-GESP编程能力等级认证C++编程四级真题解析
  • 物联网学习2、MQTT 发布/订阅模式介绍
  • 排序第五篇 归并排序
  • 机器学习和神经网络8
  • 每日一博 - 关于日志记录的最佳实践
  • netty构建udp服务器以及发送报文到客户端客户端详细案例
  • [ 一起学React系列 -- 8 ] React中的文件上传
  • 《Java8实战》-第四章读书笔记（引入流Stream）
  • Android系统模拟器绘制实现概述
  • Angular2开发踩坑系列-生产环境编译
  • JavaScript实现分页效果
  • js继承的实现方法
  • Tornado学习笔记（1）
  • 回顾2016
  • 解决jsp引用其他项目时出现的 cannot be resolved to a type错误
  • 模型微调
  • 学习ES6 变量的解构赋值
  • 在GitHub多个账号上使用不同的SSH的配置方法
  • 树莓派用上kodexplorer也能玩成私有网盘
  • ​如何在iOS手机上查看应用日志
  • ​软考-高级-系统架构设计师教程（清华第2版）【第9章 软件可靠性基础知识（P320~344）-思维导图】​
  • #【QT 5 调试软件后，发布相关：软件生成exe文件 + 文件打包】
  • (floyd+补集) poj 3275
  • （Matalb回归预测）PSO-BP粒子群算法优化BP神经网络的多维回归预测
  • （Matalb时序预测）PSO-BP粒子群算法优化BP神经网络的多维时序回归预测
  • (Python) SOAP Web Service (HTTP POST)
  • (Spark3.2.0)Spark SQL 初探： 使用大数据分析2000万KF数据
  • (阿里云万网)-域名注册购买实名流程
  • （带教程）商业版SEO关键词按天计费系统：关键词排名优化、代理服务、手机自适应及搭建教程
  • （动手学习深度学习）第13章 计算机视觉---微调
  • (附源码)计算机毕业设计SSM保险客户管理系统
  • （转）大道至简，职场上做人做事做管理
  • .net wcf memory gates checking failed
  • .Net 访问电子邮箱-LumiSoft.Net，好用
  • .NET 命令行参数包含应用程序路径吗？
  • .net 写了一个支持重试、熔断和超时策略的 HttpClient 实例池
  • .net反编译工具
  • @entity 不限字节长度的类型_一文读懂Redis常见对象类型的底层数据结构
  • @kafkalistener消费不到消息_消息队列对战之RabbitMq 大战 kafka
  • [ MSF使用实例 ] 利用永恒之蓝(MS17-010)漏洞导致windows靶机蓝屏并获取靶机权限
  • [ vulhub漏洞复现篇 ] Apache Flink目录遍历(CVE-2020-17519)
  • [ 代码审计篇 ] 代码审计案例详解(一) SQL注入代码审计案例
  • [ 云计算 | AWS 实践 ] 基于 Amazon S3 协议搭建个人云存储服务
  • [2016.7 Day.4] T1 游戏 [正解:二分图 偏解：奇葩贪心+模拟？（不知如何称呼不过居然比std还快）]
  • [AIGC] Nacos：一个简单 yet powerful 的配置中心和服务注册中心
  • [BSGS算法]纯水斐波那契数列