人工智能 (Artificial Intelligence, AI)
从名字上来看：人所创造出来的「智慧」，让机器展现「智慧」
人工智能是一个目标，它不是一个单一的技术
生成式人工智能 (Generative AI)
让机器产生复杂有结构的物件，如：
- 文章：由文字所构成
- 影像：由像素所组成
- 语音：由取样点所构成
复杂：尽乎无法穷举
让 ChatGPT 写一篇 100 字的中文文章，标题为《缝隙的联想》
用中文字组成 100 字的文章有多少的可能性？
假设中文常用字为 1000 个，，而宇宙中的原子总数估计为
可以说是：从近乎无穷的可能中找出适当的组合
不是生成式人工智能
分类（Classification）：从有限的选项中做选择
- 垃圾邮件检测：答案有限，是或不是
- 猫狗分类：猫或狗
机器学习 (Machine Learning)
机器学习 ≈ 机器自动从资料找一个函式
中学的时候你用人力算出参数，机器学习是自动算出参数的方法
机器学习所要面临的问题要比 复杂的多
假设要做一个机器可以分辨猫和狗
有一个函式：猫 or 狗 = 𝑓(图片) = …a…b…c…d…e…f…g（上万个参数）
机器学习可以把上万个参数找出来：𝑎 = 1.3, 𝑏 = −7.2, 𝑐 = 0.4, …
- 训练 (training)、学习 (learning)：机器把上万个参数找出来的过程
- 训练资料：上图中喂给机器的输入输出，机器依据这些输入输出找出上万个参数
- 测试 (testing)、推论 (inference)：找出上万个参数后，将新的图片代入函式，机器返回猫 or 狗
表示上万个参数 —— 类神经网络 (Neural Network)：
- 深度学习 (Deep Learning)：是一种机器学习技术。将有大量参数的函式表示成类神经网络，然后将这些参数解出来的技术
深度学习是机器学习的一种。可以有很多方法表示有大量参数的函式，当用类神经网络表示时，就是深度学习
关系图
- 生成式人工智能是目标；机器学习是手段
- 生成式人工智能可以通过机器学习实现，也可以通过其他手段实现
- 机器学习可以实现生成式人工智能，也可以实现其他目标
- 今日的生成式人工智慧多以深度学习达成，所以对现在来说，上图也可以接受
ChatGPT 也就是个函式
输出文本 = f(输入文本) = …a…b…c…d…e…f…g（上亿个参数）
上亿个参数的表示：Transformer（类神经网络的一种）
训练资料：
| 输入 | 输出 |
|---|---|
| 何谓人工智能？ | 人工智能就是 …… |
| 说个跟人工智能有关的故事 | 很久很久以前 …… |
| 写一首诗 | 床前明月光 …… |
| 人工智能的英文翻译 | Artificial Intelligence (AI) |
机器学习把上亿个参数找出来
AI 画图也就是个函式
AI 画图：Stable Diffusion, Midjourney, DALL·E
输出图片 = f(输入文本) = …a…b…c…d…e…f…g（上亿个参数）
训练资料：
机器学习把上亿个参数找出来
机器需要能够产生在训练时从来没有看过的东西
也就是需要有「创造力」
输出文本 = f(输入文本) = …a…b…c…d…e…f…g（上亿个参数）
训练资料：
| 输入 | 输出 |
|---|---|
| 何谓人工智能？ | 人工智能就是 …… |
| 说个跟人工智能有关的故事 | 很久很久以前 …… |
| 写一首诗 | 床前明月光 …… |
| 人工智能的英文翻译 | Artificial Intelligence (AI) |
测试时：… = 𝑓(写一篇题为需要创造 「缝隙的联想」的文章)
需要创造全新的文句
文字接龙
如何做到上述的「创造力」？
以上描述的拆解成一连串的文字接龙就是语言模型
每一步文字接龙是一个分类问题，整体上是一个生成式问题
关系图：
生成策略
把复杂的物件拆解成较小的单位，之后依照某种固定顺序依序生成的策略，叫做 Autoregressive Generation
ChatGPT 就是采用此生成策略
生成式人工智能不是今天才有
例 1
李宏毅老师 2015 年的课程：《机器学习及其深层与结构化》
- 深层：就是深度学习，当时翻译不同
- 结构化：就是生成式人工智能，让机器产生复杂有结构的物件
过去 2015 年讲的结构化学习和现在的生成式人工智能，背后的技术有什么一样的地方呢？
结论是没什么一样的地方
技术变化真的是非常的快，短短十年的时间，技术已经有了翻天覆地的变化。但是生成式人工智能的概念不是今天才有的
例 2
2006 年上线的 Google 翻译
翻译是生成式人工智能的一种应用
今日的生成式人工智慧有什么特别厉害的地方呢？能够突然爆火起来