LLMs-Zero-to-Hero,完全从零手写大模型,从数据处理到模型训练,细节拉满,一小时学会。 build a nanoGPT from scratch

作者: chaofa用代码打点酱油

作者简介: 前腾讯算法,视频文字见 bruceyuan.com和 github.com/bbruceyuan,可加 v bbruceyuan 交流(笑)

描述: LLMs-Zero-to-Hero,完全从零手写大模型,从数据处理到模型训练,细节拉满,一小时学会。 build a nanoGPT from scratch,完全是从零手写,边写边讲。 代码位于 GitHub 欢迎 star: https://github.com/bbruceyuan/LLMs-Zero-to-Hero 也欢迎大家用我的邀请码注册 aistackdc:https://aistackdc.com/phone-register?invite_code=D872A9 最后推荐一下自己的同名公众号 chaofa用代码打点酱油,当然看博客 https://bruceyuan.com 给我留个言,我更开心。 # part2 里面的细节不会让大家失望的,包括了 数据处理细节 面试知识点 模型完全手写 模型怎么改进成更现代的模型 Generate 函数怎么做? register buffer 写法和作用 linear tie weight 等细节 如果对大家有帮助,非常希望大家多多点赞、评论支持一下~(非常感谢🙏),我一直会多多更新,后面会有更多细节的内容~

LLMs-Zero-to-Hero,完全从零手写大模型,从数据处理到模型训练,细节拉满,一小时学会。 build a nanoGPT from scratch

推荐视频

从零开始训练大模型

从零开始训练大模型

上传者: NICE学术