智慧校园_手机
智慧照明_手机
大模型是好,何以为我用?
发布时间:2023-04-27 18:46:54 TAGS:

作者:中联科创特约嘉宾尹智

大模型是好,何以为我用?—— 前一阵写了篇东西,预测了一下大模型的"瘦身"之路,从附图的介绍来看,预期的这些思路正在快速得到实现,现在利用大模型技术的思路,除掉云服务(不能训练提供云服务的大模型的参数),私有化部署无非就是三个模式;


首先需要明确的是,象ChatGPT,GPT4那样的大模型,目前是没法私有化部署自己玩的,第一,人家没有开源,第二这者模型实在太大太重,训练成本太高—— 跟我预想的路径一样 —— ,只能先想办法"瘦身"大模型,再去用私有数据去训练,定制这个瘦身版 ,以下三种模式,采用的都是不同程度的"蒸馏瘦身"策略:

第一就是基于已有开源的预训练大模型,比如GPT-3,或者莫名其妙被泄露全部参数的Meta的LLama, 这些几百到上千亿参数的大家伙,用"冻住骨干参数,训练小部分参数"的办法,这就是附图的1: PEFT ,中文直译,参数经济型微调,说直白点,就是大模型的参数太多,都训练一遍,成本太高,承担不起,所以"锁定"大模型的大部分(骨干网络的)参数,只训练不到1%的参数。这样,训练一次的成本就大大降低了。这么干好处是可以重用一部分已经训练好的模型参数—— 也就是已有的"智商" ,缺点是,因为大模型的原理并不清晰,我们并不知道只调教某一部分参数,是否真的有效。

第二种,如果预算还行,可以找一个几十亿参数的小模型,比如基于Meta那个语言大模型LLama衍生出的小模型 ALPACA,或者谷歌的T5 (从六千万到110亿参数的版本都有),做一个整体私有化部署和训练,因为完全复刻了这个相对小的模型,模型的结构可以自己来调整,来折腾,所有参数可以自己训练,甚至有人会用针对大模型的提示词Prompt,生成一大堆类似的数据 —— 比如输入一首诗,让大模型变换时间,地点,主语,谓语,等等,再用这些生成的数据(被称为self- instruct data),去训练这个小模型,这就是所谓的用AI训练AI;这种模式缺点就是,因为模型没那么大,发挥不了那种大模型突然"涌现"的智能,毕竟个子小,没大哥们那么猛;

第三种,就是那些有私有数据,很想搞一些行业/领域模型,又有一定高质量私域数据的组织,还有一定预算的,比如附图的3: instruction fine tuning, 可以选择一条中间路径,选一个三五百亿参数的模型(开源的,比如Meta LLama的中等版),复刻下来,用自己的模型去调教,比如医学模型,量子物理模型,科研专业领域模型,等等。这么做好处是模型完全可以自己训练,自己调参,而且用的是专有数据,比较容易利用已有预训练模型的"智能",找出行业的模式和规律。

总而言之,言而总之,在大模型的机理没有搞清楚之前,要么只能忍受大模型不能调试的问题,要么就得承受私有化部署模型的高训练成本。选择何种方案,取决于成本,实现难度和收益的平衡。 细想想,所有新技术在初期应用时,不都是这样吗? —— 仅代表尹智个人观点 Ken's personal view only

阅读( 373)