喜欢EMT很久了，打算微调一个她的AI。
之前只知道SFT，确切的说只知道LoRA，所以一看需要大量的数据直接劝退了。
今天突然想起来，有一种微调方法叫Post-training，可以用无标注数据进行训练，突发奇想，用re0web版小说对Llama3-8B进行了Post-training微调，结果得到了三楼的东西

这个AI只会背诵小说内容，你跟它说啥它都只背诵小说内容，显然不行。
遂去问了通义千问（我的gpt号被封了），通义千问说我Post-training训练完以后，SFT训练时的数据太少了（即使Post-training也要SFT的，先Post-training再SFT能取得更好的效果，之前的LoRA训练其实是用直接LoRA方法SFT，效果不如这样）。难怪，我只用了自己花钱请语c老师写的100条语c数据SFT。