【大模型推理】浅谈推理过程中流行的加速技术
浅谈推理加速技术
很久没有做博客了,最近打算慢慢拾起来,去年内部做的分享,在这里记录一下。适合推理加速入门,欢迎大家交流。由于我做这个分享之前不是这个方向的,所以有些内容可能略显小白,哈哈哈哈哈~
偷个懒,直接放图了
很久没有做博客了,最近打算慢慢拾起来,去年内部做的分享,在这里记录一下。适合推理加速入门,欢迎大家交流。由于我做这个分享之前不是这个方向的,所以有些内容可能略显小白,哈哈哈哈哈~
偷个懒,直接放图了