当前位置:首页区块链长推:聊聊大杀器QLoRA——单个GPU可部署ChatBot,达到ChatGPT 99%的能力

长推:聊聊大杀器QLoRA——单个GPU可部署ChatBot,达到ChatGPT 99%的能力

注:本文来自@xinqiu_bot 推特,其是TikTok后端开发工程师,原推文内容由 MarsBit整理如下:前几天刷到的大杀器QLoRA终于放出了论文和相关实现。单个GPU即可部署的ChatBot,甚至达到了ChatGPT 99%的能力。只需使用消费级GPU微调12个小时就可以达到97%的ChatGPT水平。同时只用4B就可以保持16B精度的效果。PDF: https://arxiv.org/abs/2305.14314Github: https://github.com/artidoro/qlora

注:本文来自@xinqiu_bot 推特,其是TikTok后端开发工程师,原推文内容由 MarsBit整理如下:

前几天刷到的大杀器QLoRA终于放出了论文和相关实现。单个GPU即可部署的ChatBot,甚至达到了ChatGPT 99%的能力。只需使用消费级GPU微调12个小时就可以达到97%的ChatGPT水平。同时只用4B就可以保持16B精度的效果。

PDF: https://arxiv.org/abs/2305.14314

Github: https://github.com/artidoro/qlora

QLoRA通过以下三个创新点来优化资源:

1. 4Bit NormalFloat 4比特量化

2. Double Quantization 双重量化

3. Paged Optimizers 分页优化器

QLoRA是在LORA的基础上,先对Transformer进行4Bit量化,之后再利用GPU分页优化将65B大模型控制在41G显存。从下图中可以看出,同等参数量显存节省了一半。

作者在实验中也发现了一些有趣的点:

1. 指令调优虽然效果比较好,但只适用于指令相关的任务,在Chatbot上相关并不佳,而Chatbot更适合用Open Assistant数据集去进行finetune。通过指令类数据集的调优更像是提升大模型的推理能力,并不是为聊天而生的。

2. 高质量的数据对于微调性能比样本数量更重要,这一点也一直是大家的共识,使用Open Assistant的9000条数据调优12小时即可达到很好的效果,相比FLAN v2使用了超过100万条指令数据。这也和前两天看到的论文对应上,finetune可能并不需要非常多的数据集,少部分高质量的数据就能带来较好结果。

QLoRA的出现确实能给人带来一些新的思考,不管是finetune还是自己部署大模型之后都会变得更加容易。每个人都可以快速利用自己的私有数据进行finetune,同时又能轻松的部署推理大模型。后面我会利用QLoRA的方式来构建私有化QA Bot,看看在中文推理上是否也能取得不错的效果。

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时处理。

温馨提示:

文章标题:长推:聊聊大杀器QLoRA——单个GPU可部署ChatBot,达到ChatGPT 99%的能力

文章链接:https://www.btchangqing.cn/536682.html

更新时间:2023年05月25日

本站大部分内容均收集于网络,若内容若侵犯到您的权益,请联系我们,我们将第一时间处理。

长推:聊聊大杀器QLoRA——单个GPU可部署ChatBot,达到ChatGPT 99%的能力
区块链

长推:热门公链和他们的生态币

2023-5-25 12:04:46

区块链

全链游戏面面观:空中楼阁还是沙漠绿洲?

2023-5-25 12:05:14

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索