AI学什么(第2期):大语言模型是如何训练出来的?
创始人
2025-07-05 21:12:03

大家好,欢迎回到「AI学什么」栏目,我是蓝衣剑客。在上一期中,我们探讨了大语言模型如何"理解"语言。我们发现,AI的"理解"更像是一种精巧的统计模拟,而非真正的思维过程。但这引出了一个更深层的问题:这些看似"智能"的模型是如何诞生的?今天,我们要从头梳理一遍大语言模型的完整训练过程,看看它们是如何从毫无"知识"的随机参数,一步步成长为能与人类对话的AI助手。

知识的诺亚方舟

公元前259年,亚历山大城。托勒密一世站在新建的图书馆前,心中怀着一个前所未有的雄心壮志。这位马其顿将军,亚历山大大帝的继承者之一,想要做一件在当时看来极其疯狂的事情——收集全世界的知识。

"我要让这里成为人类智慧的宝库,"他对身边的学者德米特里乌斯说道,"不管是希腊的哲学、埃及的医学、波斯的天文学,还是印度的数学,我都要收集到这里。"

这个想法确实疯狂。在那个交通全靠步行、信息传播极为缓慢的年代,要收集全世界的知识几乎是不可能的任务。但托勒密一世有着常人难以理解的执着。他颁布了一项令人震惊的法令:所有进入亚历山大港的船只,都必须交出船上携带的所有书籍和手稿。这些珍贵的文献会被专业抄写员复制,原件留在图书馆,副本还给船主。

更激进的是,托勒密王朝甚至派遣专门的"图书猎人"前往各地搜集典籍。他们用重金购买、借阅复制,甚至不惜用欺骗的手段获取珍贵手稿。据说,托勒密三世曾经向雅典借来埃斯库罗斯、索福克勒斯和欧里庇得斯的原始手稿,承诺复制后归还。结果他留下了原件,把复制品还给了雅典人,甘愿损失巨额押金。

这种对知识的狂热追求持续了几个世纪。亚历山大图书馆最终收藏了约70万卷书籍,涵盖了当时已知世界的几乎所有学科。数学家欧几里得在这里写下了《几何原本》,地理学家埃拉托色尼在这里测量了地球的周长,医学家希罗菲洛斯在这里进行了最早的人体解剖...

如果托勒密一世能够穿越时空,看到今天正在发生的事情,他一定会感到似曾相识。

两千多年后的今天,硅谷的数据中心里,科技公司们正在进行一场与古代亚历山大图书馆惊人相似的工程。他们不再派遣"图书猎人"到世界各地搜集羊皮纸手稿,而是让算法爬虫在互联网上搜集人类创造的一切文本。就像托勒密王朝强制过往船只交出书籍一样,这些公司正在"征收"网络上能找到的所有内容:维基百科、新闻报道、学术论文、小说、博客、社交媒体帖子...

这些文本被送入神经网络——我们这个时代的"抄写员",它们以人类无法想象的速度"阅读"并"记忆"着这些知识。就像古代的学者们在亚历山大图书馆里潜心研究,试图理解世界的奥秘一样,这些AI模型正在从海量数据中学习语言的规律和世界的知识。

区别在于,古代的图书馆是静默的宝库,而今天的AI模型学会了开口说话。它们不仅存储了知识,还能与人类进行对话,回答问题,甚至创造新的内容。从某种意义上说,大语言模型就是我们这个时代的"亚历山大图书馆"——一个会思考、会交流的知识宝库。

但如何让一个知识库“开口说话”?这个过程究竟有多复杂?需要多少资源?面临哪些挑战?这些都是我们尚未讲到的。

让我们今天挨个讲明白。

史诗级阅读马拉松

"我读完了整个互联网。"

听到这话任谁都会笑。

不过,训练大语言模型的第一步,确实需要让它"阅读"海量文本。

GPT-4的训练语料估计超过数万亿个单词,相当于数十亿本书。要是换成人类,每天读8小时,每分钟读300字,不吃不喝不睡,也得读几万年才能完成。这真是史诗级的阅读马拉松。

业内把这个阶段叫做"预训练"。

那么,这些数据从哪里来?答案是——网页、电子书、论文、代码、维基百科、新闻、社交媒体帖子,几乎包含了所有能获取的人类文本。

在收集到这些内容后,研究团队会对数据进行一系列筛选:删除重复的、过滤低质量的、去除有害的、平衡不同类型的内容。这些筛选标准直接决定了模型未来的"知识结构"和"行为倾向",就像教育影响着人的发展方向。

经过处理后,模型的训练数据可能达几百TB,但这也只是原始数据的十分之一或二。剩下的都被筛掉了。

数据准备好后,真正的预训练就开始了。这个过程看似简单——其实就是一个不断猜词的游戏。模型会看到一个句子:"苹果树上结满了红色的____",然后预测下一个词是什么。猜对了会得到奖励,猜错了则会受到惩罚。

这种方法看似过于简单,怎么能培养出复杂的能力呢?实际上,为了准确预测下一个词,模型必须理解语言的深层结构和意义。就像下棋一样,规则简单但变化无穷。在不断猜测和修正中,模型内部构建起一个庞大复杂的表示系统,能够捕捉语言的多层面特征。这种学习方法被称为"自监督学习",因为数据本身既是问题也是答案,不需要人去告诉它(人工标注)。

而这背后,是惊人的算力消耗。数据是"食材",算力则是"火力"。GPT-4的训练据估计使用了数千张高端GPU,每张价值上万美元。

这些GPU组成的超级计算机日夜不停地调整模型内部数十亿甚至数万亿个参数,就像无数个微小的旋钮,每一个都会影响最终的预测结果。

这个过程类似于数万个厨师同时调整一道有着无数种配料的复杂佳肴,每次尝试后稍微调整一下配方,直到味道恰到好处。只不过这些"厨师"是算法,而非人类。

从"博学"到"会说话"

预训练完成后的模型就像那种读了万卷书的书呆子一样,一跟人说话就暴露了——书是读了,但不会聊天。

所以,为了让模型更好地服务人类,还需要两个关键步骤:监督式微调和基于人类反馈的强化学习。这两个步骤要教会它如何表达。

教会模型"说人话"

监督式微调的目标看起来很简单:教会模型回应人类的各种问题和指令。就像教一个博学的教授如何用通俗易懂的语言与普通人交流。但实际操作起来,这个过程充满了挑战。

研究团队需要收集大量高质量的人类问答对,这些数据就像是给AI制作的"标准答案集"。每一个问答对都要精心设计,涵盖各种场景和需求。比如当有人问"如何煮一杯好咖啡"时,模型需要学会不要从咖啡豆的化学成分讲起,而是直接给出实用的步骤:"先用热水冲洗滤杯,然后用15:1的水粉比例..."

这个过程中最大的挑战是数据的质量和多样性。研究团队要考虑无数种情况:用户可能是新手,也可能是专家;可能想要简单快速的答案,也可能需要详细的解释;甚至同一个问题在不同文化背景下可能需要不同的回答方式。

为了解决这个问题,一些研究团队会雇佣专业的写手和各领域专家来创作高质量的示例对话。这些人就像是AI的"私人教师",不仅要回答问题,还要示范如何以合适的语气、结构和详细程度来回应。有些团队甚至会创建详细的写作指南,规定什么样的回答是"好的"——要准确、有帮助、简洁明了,同时避免可能造成伤害的内容。

让AI学会"察言观色"

仅会回答问题还远远不够。优秀的模型还应该能提供有帮助、安全且符合人类价值观的回答。这就是"人类反馈的强化学习"(RLHF)阶段要解决的问题。

这个阶段的工作更像是在教AI"察言观色"——不仅要知道什么是正确答案,还要知道什么是好答案。具体做法是让模型针对同一个问题生成多个不同的回答,然后人类评估者对这些回答进行排序,选出最好的。

比如对于"我心情不好,该怎么办"这个问题,模型可能会生成这样几个回答:

  1. 1. "建议你去看心理医生"

  2. 2. "试试深呼吸,或者听听音乐放松一下"

  3. 3. "每个人都会有低落的时候,这很正常。你可以试试出去散散步,或者和朋友聊聊天"

人类评估者会考虑哪个回答更有帮助、更温暖、更符合实际情况,然后给出排序。第三个回答可能会被评为最佳,因为它既给出了实用建议,又表达了理解和安慰。

这个过程需要大量的人类评估者参与,他们来自不同的背景和文化,确保AI学到的价值观能够适应不同的用户群体。这些评估者每天要处理成千上万个这样的对比,工作强度很大。有些公司甚至会聘请专门的伦理专家来参与这个过程,确保AI的回答符合社会道德标准。

更有趣的是,这个过程中模型会逐渐学会一些微妙的社交技巧。比如当用户问一些敏感问题时,模型学会了如何礼貌地拒绝或者重新引导话题;当用户表达沮丧时,AI学会了先表示理解,再给出建议;当用户问专业问题时,模型学会了承认自己的局限性,建议咨询专业人士。

经过这两步,模型不再只是一个被动的知识库,而是一个尝试理解并满足人类需求的助手。

至少,它看起来是这样。

从实验室到我们的设备

经过前面几个步骤,模型已经具备了不俗的能力,但离真正投入使用还有最后几步。这些步骤主要解决两个问题:模型是否可靠安全,以及它是否能在普通设备上运行。

研究团队会设计各种各样的"考试"来测试模型,涵盖了数学题、编程题、法律考题、医学问题、伦理困境...几乎所有知识领域。这些测试的目的不是给模型打分,而是找出它的弱点和盲区,了解它在哪些情况下可能出错。就像对新药进行全面检测,目的是确保它能安全、有效地发挥作用。

而且,原始训练出的模型通常体积庞大、运行成本高昂。为了让AI更广泛地服务人类,研究人员会进行模型压缩和优化,这些技术包括:

  • 量化:将模型参数的精度从32位浮点数降至8位整数,大幅减小模型体积
  • 蒸馏:训练一个小模型来模仿大模型的行为
  • 剪枝:删除模型中不重要的连接和参数
  • 优化推理算法:改进模型运行的方式,提高效率

这就像我们常在B站或抖音上看的“XX分钟带你看完全片”的电影解说一样。虽然损失了一些细节,但核心内容和体验基本保留。通过这些技术,如今一些强大的AI模型甚至可以在普通笔记本电脑或智能手机上运行,使AI技术真正走进了普通人的生活。

训练的未来与挑战

对于模型训练,现在有个问题越来越明显了:好的训练数据快不够用了。

互联网上的优质文本内容是有限的,一些研究甚至预测在2026年前后,可用的高质量数据将被"消耗殆尽"。就像挖矿一样,最好挖的矿先被挖光了,剩下的越来越难搞。

怎么办?研究人员想了不少招:让现有模型自己创造新的训练数据,或者加入图像、视频这些非文本内容,还有人在琢磨更聪明的学习算法,希望模型能从更少的数据中学到更多东西。总之,光靠现有的人类文本是不够了。

不过还有个更大的问题——训练这些大模型实在太烧钱了。动辄几千万美元的训练成本,只有那些科技巨头玩得起。更别提环境成本,一个模型训练下来的耗电量堪比小城镇。在气候变化越来越严重的今天,为了训练更强大的AI而消耗如此多能源,这真的合理吗?

当然,研究人员也在想办法:开发专用芯片,优化训练算法,探索更节能的模型架构。这些努力不仅可能让训练成本降下来,让更多人参与AI研究,还能减少环境影响。

希望未来的AI训练能更绿色,也更民主化一些。毕竟,这么重要的技术不应该只掌握在少数巨头手里。

结尾

亚历山大图书馆和今天的大语言模型,追求的可能是同一个梦想——让知识穿越时间,启迪未来的生命。只不过这次,我们的"知识容器"已经学会了与我们对话。

我是蓝衣剑客,谢谢你看我的文章。

⚠️
本网站信息内容及素材来源于网络采集或用户发布,如涉及侵权,请及时联系我们,发送链接至2697952338@QQ.COM,我们将第一时间进行核实与删除处理。

相关内容

热门资讯

《死魂灵》:在含泪的笑里读懂一... 一、为什么读这本被书名耽误的经典第一次听说《死魂灵》时,我以为它是鬼怪小说,因而迟迟没有翻开。真正读...
《艰难时世》:在“事实”崇拜里... 一、为什么在最“讲求实际”的年代读它在一个把“有用”奉为最高标准的年代,重读狄更斯一八五四年出版的《...
《三个火枪手》:在人人为我的誓... 一、为什么在今天还要读这三个火枪手提起大仲马,很多人先想到的是《基督山伯爵》里那个隐忍十四年的复仇者...
《绿山墙的安妮》:在红发与幻想... 一、为什么在成年之后重读安妮起初以为这是一本写给孩子的书,真正翻开才发觉,它更像是一封写给所有曾经敏...
《浮士德》:一场灵魂赌约里的求... 一、为什么在今天重读这部诗剧歌德的《浮士德》是一部用近六十年写成的长篇诗剧,从青年时代的《浮士德片断...
《老残游记》:赃官可恨,清官为... 一、为什么重读这本晚清谴责小说提起晚清四大谴责小说,很多人的第一印象是痛骂贪官、揭露黑暗。《老残游记...
《神曲》:一场三界漫游里的理性... 一、为什么在今天重读《神曲》但丁·阿利吉耶里是十三世纪意大利最具标志性的诗人,也是现代意大利语的奠基...
《金银岛》:在寻宝与叛变之间读... 一、为什么在今天重读《金银岛》很多人把《金银岛》归进"童年冒险故事",以为它不过是藏宝图、独腿海盗和...
《奥赛罗》:一条手帕如何点燃嫉... 一、为什么在四大悲剧里重读《奥赛罗》莎士比亚的四大悲剧中,《奥赛罗》常被视为最"好看"也最令人窒息的...
快手-W(01024.HK)走... 快手-W(01024.HK)走势与财报综合研判数据口径说明 事实:本文行情与技术指标来自 westo...
电梯里为什么要装一面镜子:无障... 几乎每个人都在电梯里照过镜子,顺手整理一下头发和衣领。很多人以为这面镜子只是为了让人爱美,或者让狭小...
五粮液(000858)走势与财... 数据口径说明事实:本文行情为 2026-11-20 收盘数据(腾讯自选股行情接口),财报取自接口最新...
《面纱》:在背叛与霍乱中读懂女... 一、为什么在众多经典里重新翻开《面纱》毛姆的名字总与《月亮与六便士》《刀锋》连在一起,那些书写的是男...
台积电ADR(usTSM)走势... 台积电ADR(usTSM):三季度营利高增与单日重挫并存数据口径说明 事实:行情为 2026-11-...
特斯拉(usTSLA)走势与财... 数据口径说明事实:行情为 2026-11-20 美股收盘快照(周末休市,非盘中实时);财报为美元单季...
京东集团-SW(09618.H... 数据口径说明事实:行情截至2026年11月20日港股收盘(最近交易日);财务数据为港交所披露的第三季...
《西线无战事》:在沉默战报里读... 一、为什么在和平年代读这本书阅读《西线无战事》并不是为了猎奇战壕里的惨状。这本一九二九年问世的小说之...
汽车刹车灯红转向灯黄是怎么回事... 一、车灯颜色不是随便挑的,是被规定死的很多人以为刹车灯红、转向灯黄只是习惯,其实每种颜色都是被标准明...
中芯国际(sh688981)走... 数据口径说明事实:本文行情取自 westock 数据接口,截至 2026-11-20 收盘;财务为 ...
电线上的平方数是什么意思:标称... 一、平方数标的是导体芯而不是整根线家装店里说的1.5平方、2.5平方、4平方,单位是平方毫米,描述的...
《心》:一封遗书里,利己与道义... 一、为什么在读过许多经典之后仍要翻开《心》在夏目漱石的全部作品里,《心》是最薄也最沉的一本。它没有《...
壳牌ADR(usSHEL)走势... 数据口径说明事实:行情、技术指标、财报与评级数据取自行情数据接口,行情截止 2026-11-20 美...
Meta(usMETA)走势与... Meta Platforms(usMETA)走势与财报综合研判数据口径说明 事实:本文数据取自证券行...
友邦保险(01299.HK)走... 数据口径说明事实:行情、技术、估值、评级与新闻取自腾讯自选股接口,行情为港股 2026-11-20 ...
紫金矿业(601899)走势与... 数据口径说明事实:行情截至2026-11-20收盘(最近交易日),来源为本地行情数据工具(行情接口未...