硅基余烬

单元 2 / 6 · 讲授与练习

大语言模型的实用心智模型

理解 token、上下文、概率生成、温度、幻觉、知识边界、推理模型、检索增强与引用核验,学会按风险审查回答。

时长
120 分钟
教学方式
线下授课优先,同时兼容自学
适用人群
广泛科研人员;化学、化工教师案例为主
目标
用 token、上下文和概率生成解释模型为什么能写得流畅,也为什么会在事实与引用上出错;识别化学命名、反应条件、数值和文献引用中的高风险回答,并选择相称的核验动作
交付物
一张可复用的回答风险诊断卡;一份带有证据位置的回答核验记录
展开六单元目录
  1. AI 发展史与能力地图
  2. 大语言模型的实用心智模型
  3. 任务、提示、上下文与验收
  4. 网络、API、文件、成本与安全
  5. 从聊天到可控智能体
  6. 科研工作流设计工坊

02 · 本单元解决什么问题

语言模型最危险的时刻,往往不是它语无伦次,而是它把错误写得像教科书。科研人员需要的不是一套拟人化解释,而是一种能指导操作的心智模型:模型看见什么、如何生成、哪些信息不在上下文里、为什么检索仍需核验,以及回答风险升高时该采取什么检查。

本单元不讨论神经网络公式。我们用“输入—生成—证据—核验”四步理解模型,并用化学名称、反应条件和文献引用练习识别貌似可信的错误。其他学科只需把示例替换为本领域的专名、数值和证据来源。

02 · 120 分钟路线

时间内容可检查产出
0–10 分钟回看能力地图,做预测游戏对模型下一词的直觉
10–30 分钟token 与上下文窗口输入边界草图
30–50 分钟概率生成与温度同题多答差异记录
50–70 分钟幻觉、知识边界与推理模型风险来源分类
70–85 分钟检索增强与引用证据链四问
85–100 分钟现场回答核验演示一份核验记录
100–115 分钟回答风险卡练习个人诊断卡
115–120 分钟同伴口头验收结论与下一步
授课提示 开场先让学员预测,不先下定义

在屏幕上写:“当反应温度从 25 ℃ 升到 60 ℃ 时,不能仅凭温度判断选择性,因为……”让学员各写一个最可能的续句。不同答案都可能通顺,这正好引出“在多个可能续写中选择”。强调这只是入门模型:真实系统用 token,不等于逐个汉字,也不等于理解已经被证明为真的事实。

核心概念

token:模型处理的不是完整句子

文本进入模型前会被切分成 token,再映射成数字。一个 token 可能是一个汉字、词的一部分、标点或常见字符组合;切分方式由具体模型的分词器决定。研究者无需手工数 token,但必须理解三个后果:

  1. 模型接收的是序列,不是一本可以任意翻页的书;
  2. 专业名称、化学式、表格和代码可能以不直观的方式切分;
  3. 输入和输出都占用有限的上下文容量,因此“我上传过”不代表每个细节始终处在当前可用上下文中。

token 不是词义单位。把 NaClNa Cl、中文名“氯化钠”混用时,人能轻易知道它们相关,模型是否稳定关联则取决于训练、上下文和具体输入。

上下文:存在不等于被正确使用

上下文窗口是一次推理可处理的 token 范围,通常同时包含系统规则、用户指令、历史对话、工具返回、文件片段和待生成输出。产品可能自动压缩历史、选择文件片段或管理窗口,用户不一定看见全部过程。因此,关键事实应在当前任务中清晰、集中地给出,不要只说“参考上面所有内容”。

科研材料尤其容易出现三种上下文问题:

  • 缺失:表格只复制了一半,单位或脚注没有进入上下文;
  • 冲突:初稿写 0.5 mol/L,后续更正为 0.05 mol/L,但两者同时存在;
  • 噪声:投入几十篇论文,却没有说明要回答的问题和证据优先级。

改善方法不是无限增加材料,而是先做材料清单:文件名、版本、用途、允许引用范围、关键页码或行号。对于长文件,让系统先列出实际读取到的章节,再开始回答。

概率生成:流畅来自连续选择

语言模型根据当前上下文,为可能的下一个 token 分配概率,再按系统设定选择一个,加入序列后继续。这个循环能形成长段文字。模型并非先在内部写好一篇经过事实审查的报告,再逐字显示;它是在连续生成过程中保持结构与语义的一致性。

温度常用来影响采样的分散程度。直观地说,较低设置通常更偏向高概率候选,输出更稳定;较高设置可能增加变化。它不是“准确度旋钮”:把温度降低,不能把缺失知识变成真实知识,也不能修复错误前提。不同产品可能不暴露该参数,或以其他方式管理随机性,所以课程不要求寻找某个固定按钮。

同一问题多次得到不同措辞,并不意味着其中总有一个是真的;多次得到完全相同的答案,也不等于答案经过外部证据确认。一致性是观察信号,不是真实性的证明。

幻觉:不是“故意撒谎”,而是没有证据约束的合理续写

课程中把幻觉定义为:模型生成了不受可靠来源支持、与事实不符或把不确定内容写成确定结论的输出。它可能表现为虚构 DOI、错误化合物名称、拼接不存在的反应条件、把相关性写成因果性,也可能只是遗漏一个决定性限制条件。

“模型不知道”这句话也需谨慎。模型没有像人一样可直接查询的知识清单。它可能在某种问法下答对,在另一种上下文中答错;可能记得广泛常识,却无法给出可靠出处;还存在知识时点与专业覆盖边界。面对最新论文、冷门化合物、内部实验或机构规定,应默认需要外部材料。

化学与化工中的三类高风险失败

命名失败:系统把相似中文名、英文名、缩写或同分异构体混在一起。核验时至少对照结构、分子式、CAS 记录或权威数据库条目,而不是只看名字像不像。

条件失败:系统给出温度、压力、浓度、催化剂比例,却没有说明来源和适用体系。某个条件在一篇论文中成立,不代表能直接迁移到教学实验、放大工艺或另一底物。核验要回到原文实验部分,确认单位、规模和上下文。

引用失败:系统给出格式完整的作者、题目、期刊和 DOI,但记录可能不存在,或论文存在却不支持那句话。核验顺序应是:记录是否存在;元数据是否匹配;原文是否可访问;目标结论是否真的被原文支持。

推理模型:投入更多计算,不取消核验

有些模型或模式会在复杂任务上进行更多中间处理,适合多步规划、数学、代码和约束问题。它们通常被称为推理模型或推理模式。对研究者而言,实用结论有三条:

  1. 复杂问题先给清晰约束和可检查输入,比只要求“深入思考”更重要;
  2. 推理结果仍可能从错误前提出发,或者在单位、边界条件与证据上失误;
  3. 不应把模型生成的详细解释当成其正确性的证明,最终仍要用独立方法检查。

例如计算配制溶液所需质量,模型即使列出多步过程,也应由人重新检查物质的量、纯度、体积单位和有效数字。高风险场景可使用第二种计算方式或经过验证的脚本交叉检查。

核心概念

RAG:先取回材料,再让模型基于材料回答

检索增强生成常缩写为 RAG。它把外部资料切分并建立可检索表示;收到问题后,系统找回相关片段,把它们放入上下文,再由语言模型组织回答。RAG 能缓解模型缺少私有或最新知识的问题,也更容易提供证据入口,但不会自动保证正确。

失败可能发生在每一环:原始资料不可信、切分破坏表格、检索词没有命中、找回片段相关但不充分、模型误读片段、引用位置错配。研究者不能只问“有没有 RAG”,而要问“检索了什么库、返回了哪些原文、答案的每个关键结论对应哪处证据”。

引用核验四问

  1. 存在吗? DOI、题目、作者、期刊和年份能在独立来源中对应上吗?
  2. 同一篇吗? 模型给的元数据是否拼接了两篇不同论文?
  3. 说过吗? 打开原文后,目标结论是否出现在相应段落、图表或补充材料?
  4. 支持吗? 原文是在报告事实、提出假设,还是引用他人观点?它真的支持当前表述强度吗?
授课提示 准备可教学的错误,而不是危险配方

课前准备的失败样例应聚焦名称、单位、引用和表述强度,避免让学员照做未经验证的实验条件。展示错误后立刻展示核验路径。网络不可用时,用打印的材料与预先保存的回答完成同一活动。

动手练习

制作一张回答风险诊断卡

15 分钟

化学示例可审查“某催化体系能在温和条件下实现高选择性”这一回答:温和的范围是什么,选择性的定义和数值是什么,适用哪些底物,来源位于哪里?其他学科可替换为本领域最容易混淆的术语、量纲或引用。

怎么做

  1. 选取一段 150–300 字的 AI 回答;可以是文献摘要、实验解释、数据说明或教学材料,但不得包含敏感数据。
  2. 把回答拆成最小可核验主张,给每条标注事实、数值、引用、推断、建议或纯表达。
  3. 按低、中、高风险分级:若错误会影响实验安全、研究结论、学术署名或正式教学,至少判为高风险。
  4. 为每条中高风险主张写出证据来源、核验动作和负责人;找不到证据时改写为明确的不确定表述。
  5. 把可复用规则压缩到一张卡:先看什么、何时停下、何时必须回到原始资料。

做到什么算完成

  • 至少拆出六条主张,并包含一条数值或单位、一条引用或来源、一条推断。
  • 风险等级有具体后果依据,不以“感觉不可靠”代替判断。
  • 每条高风险主张都有独立核验动作;重复询问同一模型不算独立核验。
  • 诊断卡明确区分语言流畅、一致性与证据真实性,且能被同伴在三分钟内使用。

一张可带走的风险分级

低风险:头脑风暴、标题变体、已有人审阅的文字润色。处理方式是快速人工阅读,防止含义被改写。

中风险:公开资料摘要、课程解释、初步分类。处理方式是提供来源、抽查关键主张、保留版本记录。

高风险:实验条件、安全、剂量、关键数值、未公开研究结论、文献引用、正式评价与对外承诺。处理方式是使用权威原始资料、逐项独立核验、由具备责任与专业资格的人确认;不满足条件就停止采用。

风险取决于错误后果,不是文本长度。一句错误的浓度可能比十页措辞一般的综述更危险。

02 · 自学说明

自学者需要保留两份材料:原始 AI 回答和标注后的核验版本。没有可用产品时,可从课程讲义中的示例回答开始。完成后遮住原回答,只把风险诊断卡交给同事,让对方审查另一段文本;如果同事不知道去哪找证据、什么情况必须停下,说明卡片仍过于抽象。

02 · 本单元退出验收

请用不超过 90 秒回答:

  • token 与词有什么不同?
  • 上下文中没有可靠来源时,模型为什么仍能写出完整引用?
  • 温度降低为什么不等于事实正确?
  • RAG 的哪四个环节仍会失败?
  • 你的工作中哪类回答必须独立核验?

能够把机制、风险和动作连起来才算通过。只说“AI 会幻觉,所以要小心”还不够。

本单元参考来源