当前位置： 首页 > news >正文

#Datawhale AI夏令营第4期#多模态大模型复盘

news 来源：原创 2024/9/15 17:53:25

这是Datawhale AI夏令营第4期多模态大模型赛道的复盘总结。本次学习最终获得了优秀学习者的称号。

本次赛事是天池Better Synth多模态大模型数据合成挑战赛。Better Synth 是一项以数据为中心的挑战赛，考察如何合成与清洗图文数据以在多模态大模型上取得更优的图片理解能力。数据集产出流程中必须包含“合成”的过程。

涉及到的知识点：

  1. 多模态大模型训练脚本
  2. 简单的Linux操作系统下的环境配置和安装
  3. Data Jucier 与 Mini-Gemini 的学习
  4. 数据处理的进阶技巧和模型训练阶段的技巧等

  5. Data Jucier Playground

  6. Mini-Gemini

  7. 数据处理

  8. 官方赛事解读

  9. 自定义算子介绍

  10. data-juicer sandbox insights讲解

  11. 上分思路

困难：

1.全数据未跑通；

2.150k数据跑完结果不对，未找到原因

3.时间、算力困难，上分思路未实践

4.data-juicer和sandbox没有深入研究

后续方向：

  1. 熟悉Data-Juicer官方文档和示例

  2. sandbox样例研究

  3. 上分思路实践（10k模型）

  4. 多模态相关论文阅读（B站）

相关文章：

  • 象棋布局笔记
  • 四天倒计时，SETTA会议你准备好了吗?
  • #Datawhale AI夏令营第4期#AIGC文生图方向复盘
  • STM32标准库学习笔记-9.DMA 直接存储器存取
  • MySQL数据库——表的CURD（Update）
  • Ubuntu 基础使用
  • Nginx--代理与负载均衡（扩展nginx配置7层协议及4层协议方法、会话保持）
  • Global Structure-from-Motion Revisited golmap论文翻译
  • 搭建内网开发环境（五）｜基于nexus搭建npm私服
  • IPage类与Page类区别和作用讲解
  • 【vim 学习系列文章 15.2 -- vim vimgrep 使用详细介绍】
  • WebRTC音视频开发读书笔记（六）
  • Go 语言并发--高级概述
  • 11.4k star! 部署清华开源的ChatGLM3，用私有化大模型无缝替换openai
  • 探索Python的工业通信之光：pymodbus的奇妙之旅
  • ［nginx文档翻译系列］ 控制nginx
  • 【划重点】MySQL技术内幕：InnoDB存储引擎
  • 【许晓笛】 EOS 智能合约案例解析(3)
  • 【跃迁之路】【733天】程序员高效学习方法论探索系列（实验阶段490-2019.2.23）...
  • 2017 前端面试准备 - 收藏集 - 掘金
  • IndexedDB
  • JavaScript 奇技淫巧
  • JavaScript-Array类型
  • JavaScript设计模式系列一：工厂模式
  • js操作时间（持续更新）
  • LeetCode29.两数相除 JavaScript
  • Linux快速配置 VIM 实现语法高亮 补全 缩进等功能
  • Python学习之路16-使用API
  • vue-cli在webpack的配置文件探究
  • 高性能JavaScript阅读简记（三）
  • 诡异！React stopPropagation失灵
  • 基于 Ueditor 的现代化编辑器 Neditor 1.5.4 发布
  • 今年的LC3大会没了？
  • 那些年我们用过的显示性能指标
  • 如何进阶一名有竞争力的程序员?
  • 使用SAX解析XML
  • 协程
  • ionic入门之数据绑定显示-1
  • ​香农与信息论三大定律
  • #周末课堂# 【Linux + JVM + Mysql高级性能优化班】（火热报名中~~~）
  • (01)ORB-SLAM2源码无死角解析-(56) 闭环线程→计算Sim3:理论推导(1)求解s,t
  • （2021|NIPS，扩散，无条件分数估计，条件分数估计）无分类器引导扩散
  • (done) NLP “bag-of-words“ 方法 （带有二元分类和多元分类两个例子）词袋模型、BoW
  • （附源码）springboot“微印象”在线打印预约系统 毕业设计 061642
  • （亲测有效）解决windows11无法使用1500000波特率的问题
  • （译）2019年前端性能优化清单 — 下篇
  • （终章）[图像识别]13.OpenCV案例 自定义训练集分类器物体检测
  • ..回顾17，展望18
  • .jks文件（JAVA KeyStore）
  • .mkp勒索病毒解密方法|勒索病毒解决|勒索病毒恢复|数据库修复
  • .mp4格式的视频为何不能通过video标签在chrome浏览器中播放？
  • .NET “底层”异步编程模式——异步编程模型（Asynchronous Programming Model，APM）...
  • .NET Core WebAPI中使用swagger版本控制，添加注释
  • .NET Core 实现 Redis 批量查询指定格式的Key
  • .net core开源商城系统源码，支持可视化布局小程序