04｜新时代模型性能大比拼，GPT-3到底胜在哪里？
![](data:image/svg+xml,<svg xmlns="http://www.w3.org/2000/svg" width="46" height="20"><rect fill-opacity="0"/></svg>)
04｜新时代模型性能大比拼，GPT-3到底胜在哪里？
徐文浩 · AI大模型之美
课程介绍
讲述：徐文浩
时长12:56大小11.81M
你好，我是徐文浩。
前面两讲，我带你体验了 OpenAI 通过 API 提供的 GPT-3.5 系列模型的两个核心接口。一个是获取一段文本的 Embedding 向量，另一个则是根据提示语，直接生成一段补全的文本内容。我们用这两种方法，都可以实现零样本（zero-shot）或者少样本下的情感分析任务。不过，你可能会提出这样两个疑问。
Embedding 不就是把文本变成向量吗？我也学过一些自然语言处理，直接用个开源模型，比如 Word2Vec、Bert 之类的就好了呀，何必要去调用 OpenAI 的 API 呢？
我们在这个情感分析里做了很多投机取巧的工作。一方面，我们把 3 分这种相对中性的评价分数排除掉了；另一方面，我们把 1 分 2 分和 4 分 5 分分别合并在了一起，把一个原本需要判断 5 个分类的问题简化了。那如果我们想要准确地预测多个分类，也会这么简单吗？
那么，这一讲我们就先来回答第一个问题。我们还是拿代码和数据来说话，就拿常见的开源模型来试一试，看看能否通过零样本学习的方式来取得比较好的效果。第二个问题，我们下一讲再来探讨，看看能不能利用 Embedding 进一步通过一些机器学习的算法，来更好地处理情感分析问题。
什么是预训练模型？
给出一段文本，OpenAI 就能返回给你一个 Embedding 向量，这是因为它的背后是 GPT-3 这个超大规模的预训练模型（Pre-trained Model）。事实上，GPT 的英文全称翻译过来就是“生成式预训练 Transformer（Generative Pre-trained Transformer）”。
所谓预训练模型，就是虽然我们没有看过你想要解决的问题，比如这里我们在情感分析里看到的用户评论和评分。但是，我可以拿很多我能找到的文本，比如网页文章、维基百科里的文章，各种书籍的电子版等等，作为理解文本内容的一个学习资料。
我们不需要对这些数据进行人工标注，只根据这些文本前后的内容，来习得文本之间内在的关联。比如，网上的资料里，会有很多“小猫很可爱”、“小狗很可爱”这样的文本。小猫和小狗后面都会跟着“很可爱”，那么我们就会知道小猫和小狗应该是相似的词，都是宠物。同时，一般我们对于它们的情感也是正面的。这些隐含的内在信息，在我们做情感分析的时候，就带来了少量用户评论和评分数据里缺少的“常识”，这些“常识”也有助于我们更好地预测。
比如，文本里有“白日依山尽”，那么模型就知道后面应该跟“黄河入海流”。文本前面是“今天天气真”，后面跟着的大概率是“不错”，小概率是“糟糕”。这些文本关系，最后以一堆参数的形式体现出来。对于你输入的文本，它可以根据这些参数计算出一个向量，然后根据这个向量，来推算这个文本后面的内容。
可以这样来理解：用来训练的语料文本越丰富，模型中可以放的参数越多，那模型能够学到的关系也就越多。类似的情况在文本里出现得越多，那么将来模型猜得也就越准。
预训练模型在自然语言处理领域并不是 OpenAI 的专利。早在 2013 年，就有一篇叫做 Word2Vec 的经典论文谈到过。它能够通过预训练，根据同一个句子里一个单词前后出现的单词，来得到每个单词的向量。而在 2018 年，Google 关于 BERT 的论文发表之后，整个业界也都会使用 BERT 这样的预训练模型，把一段文本变成向量用来解决自己的自然语言处理任务。在 GPT-3 论文发表之前，大家普遍的结论是，BERT 作为预训练的模型效果也是优于 GPT 的。
Fasttext、T5、GPT-3 模型效果大比拼
今天我们就拿两个开源的预训练模型，来看看直接用它们对文本进行向量化，是不是也能取得和 OpenAI 的 API 一样好的效果。
第一个是来自 Facebook 的 Fasttext，它继承了 Word2Vec 的思路，能够把一个个单词表示成向量。第二个是来自 Google 的 T5，T5 的全称是 Text-to-Text Transfer Trasnformer，是适合做迁移学习的一个模型。所谓迁移学习，也就是它推理出来向量的结果，常常被拿来再进行机器学习，去解决其他自然语言处理问题。通常很多新发表的论文，会把 T5 作为预训练模型进行微调和训练，或者把它当作 Benchmark 来对比、评估。
Fasttext 效果测试
我们先来试一下 Fasttext，在实际运行代码之前，我们需要先安装 Fasttext 和 Gensim 这两个 Python 包。
我在下面列出了通过 pip 安装对应 Python 包的代码，如果你使用的是 PIP 或者其他的 Python 包管理工具，你就换成对应的命令就好了。因为这一讲加载的 AI 模型需要的内存比较大，为了快速运行也需要对应的 GPU 资源，推荐你可以使用 Google Colab 来实验对应的代码。
然后，我们要把 Fasttext 对应的模型下载到本地。因为这些开源库和对应的论文都是 Facebook 和 Google 这样的海外公司发布的，效果自然是在英语上比较好，所以我们就下载对应的英语模型，名字叫做 “cc.en.300.bin”。同样的，对应模型的下载链接，我也放在这里了。
下载之后解压，然后把文件放在和 Notebook 相同的目录下，方便我们接下来运行代码。
代码的逻辑也不复杂，我们先利用 Gensim 这个库，把 Facebook 预训练好的模型加载进来。然后，我们定义一个获取文本向量的函数。因为 Fasttext 学到的是单词的向量，而不是句子的向量。同时，因为我们想要测试一下零样本学习的效果，不能再根据拿到的评论数据进一步训练模型了。所以我们把一句话里每个单词的向量，加在一起平均一下，把得到的向量作为整段评论的向量。这个方法也是当年常用的一种将一句话变成向量的办法。我们把这个操作定义成了 get_fasttext_vector 这个函数，供后面的程序使用。
而对应的零样本学习，我们还是和第 02 讲一样，将需要进行情感判断的评论分别与 “An Amazon review with a positive sentiment.” 以及 “An Amazon review with a negative sentiment.” 这两句话进行向量计算，算出它们之间的余弦距离。
离前一个近，我们就认为是正面情感，离后一个近就是负面情感。
输出结果：
我们从亚马逊食物评论的数据集里，选取了一个用户打 5 分的正面例子和一个用户打 1 分的例子试了一下。结果非常不幸，通过这个零样本学习的方式，这两个例子，程序都判断错了。
不过，仔细想一下，这样的结果也正常。因为这里的整句向量就是把所有单词的向量平均了一下。这意味着，可能会出现我们之前说过的单词相同顺序不同的问题。
“not good, really bad” 和 “not bad, really good”，在这个情况下，意思完全不同，但是向量完全相同。更何况，我们拿来做对比的正面情感和负面情感的两句话，只差了 positive/negative 这样一个单词。不考虑单词的顺序，而只考虑出现了哪些单词，并且不同单词之间还平均一下。这种策略要是真的有很好的效果，你反而要担心是不是哪里有 Bug。
T5 效果测试
Fasttext 出师不利，毕竟 Word2Vec 已经是 10 年前的技术了，可以理解。那么，我们来看看和 GPT 一样使用了现在最流行的 Transformer 结构的 T5 模型效果怎么样。
T5 模型的全称是 Text-to-Text Transfer Transformer，翻译成中文就是“文本到文本的迁移 Transformer”，也就是说，这个模型就是为了方便预训练之后拿去“迁移”到别的任务上而创造出来的。当时发表的时候，它就在各种数据集的评测上高居榜首。
T5 最大的模型也有 110 亿个参数，也是基于 Transformer，虽然比起 GPT-3 的 1750 亿小了不少，但是对硬件的性能要求也不低。所以，我们先测试一下 T5-Small 这个小模型看看效果。
同样的，在实际运行代码之前，我们也需要安装对应的 Python 包。这里我们分别安装了 SentencePiece 和 PyTorch。在安装 PyTorch 的时候，我一并安装了 Torchvision，后面课程会用到。
代码也不复杂，我们先加载预训练好的 T5 模型的分词器（Tokenizer），还有对应的模型。然后，我们定义了一个 get_t5_vector 函数，它会接收一段你的文本输入，然后用分词器来分词把结果变成一个序列，然后让模型的编码器部分对其进行编码。编码后的结果，仍然是分词后的一个词一个向量，我们还是把这些向量平均一下，作为整段文本的向量。
不过要注意，虽然同样是平均，但是和前面 Fasttext 不一样的是，这里每个词的向量，随着位置以及前后词的不同，编码出来的结果是不一样的。所以这个平均值里，仍然包含了顺序带来的语义信息。
这段代码执行的过程可能会有点慢。因为第一次加载模型的时候，Transformer 库会把模型下载到本地并缓存起来，整个下载过程会花一些时间。
有了模型和通过模型获取的向量数据，我们就可以再试一试前面的零样本学习的方式，来看看效果怎么样了。我们简单地把之前获取向量和计算向量的函数调用，都换成新的 get_t5_vector，运行一下就能看到结果了。
输出结果：
不幸的是，结果还是不太好，两个例子都被判断成了负面情绪，而且好评的分数还更低一点。不过别着急，会不会是我们用的模型太小了呢？毕竟 T5 论文里霸占各个排行榜的是 110 亿个参数的大模型，我们这里用的是 T5-Small 这个同样架构下的小模型，参数数量只有 6000 万个。
110 亿个参数要花太多时间了，我们不妨把模型放大一下，试试有 2.2 亿个参数的 T5-Base 这个模型？试用起来也很简单，我们就直接把上面模型的名字从 T5-small 改成 T5-base 就好了，其他代码不需要动，重新运行一遍。
输出结果：
这一次，结果似乎是我们想要的了，好评被判定为正面情感，而差评被判定为负面情感。不过，也许我们只是运气好，在这一两个例子上有效果呢？所以，接下来让我们把整个数据集里，1 分 2 分的差评和 4 分 5 分的好评都拿出来看一看。在 OpenAI 的 API 拿到的 Embedding 里，它的准确率能够达到 95% 以上，我们看看用这个有 2.2 亿个参数的 T5-base 模型能有什么样的结果。
对应的代码也不复杂，基本上和第 02 讲里 OpenAI 给到的 Embedding 代码是类似的。无非是通过 pandas，根据评论的 Text 字段，全部计算一遍 T5 下的 Embedding，然后存到 DataFrame 的 t5_embedding 里去。
同样的，我们还是要通过 T5 的模型，来获得 “An Amazon review with a positive sentiment.” 以及 “An Amazon review with a negative sentiment.” 这两句话的 Embedding。然后，我们用刚刚计算的用户评论的 Embedding 和这两句话计算一下余弦距离，来判断这些评论是正面还是负面的。
最后，通过 Scikit-learn 的分类报告的类库把评估的报告结果打印出来。
输出结果：
结果显示，使用 T5 的效果也还可以，考虑所有样本的准确率也能达到 90%。但是，在比较困难的差评的判断里，它的表现要比直接用 OpenAI 给到的 Embedding 要差很多，整体的精度只有 60%。我们去看整体模型的准确率的话，OpenAI 的 Embedding 能够到达 96%，还是比这里的 90% 要好上一些的。
这里我重新贴一下使用 OpenAI 的 Embedding 取得的效果，你可以做个对比。
当然，这个分数也还不错，也能作为一个合格的情感分析分类器的基准线了。毕竟，我们这里采用的是零样本分类的方法，没有对需要分类的数据做任何训练，使用的完全是预训练模型给出来的向量，直接根据距离做的判断。所以，看起来大一点的预训练模型的确有用，能够取得更好的效果。而且，当你因为成本或者网络延时的问题，不方便使用 OpenAI 的 API 的时候，如果只是要获取文本的 Embedding 向量，使用 T5 这样的开源模型其实效果也还不错。
小结
最后，我们来复习一下这一讲的内容。
这一讲我们一起使用 Fasttext、T5-small 和 T5-base 这三个预训练模型，做了零样本分类测试。在和之前相同的食物评论的数据集上，使用只学习了单词向量表示的 Fasttext，效果很糟糕。当我们换用同样基于 Transformer 的 T5 模型的时候，T5-small 这个 6000 万参数的小模型其实效果也不好。但是当我们用上 2.2 亿参数的 T5-base 模型的时候，结果还可以。不过，还是远远比不上直接使用 OpenAI 的 API 的效果。可见，模型的大小，即使是对情感分析这样简单的问题，也能产生明显的差距。
课后练习
我们在尝试使用 T5-base 这个模型之后，下了个判断认为大一点的模型效果更好。不过，其实我们并没有在整个数据集上使用 T5-small 这个模型做评测，你能试着修改一下代码，用 T5-small 测试一下整个数据集吗？测试下来的效果又是怎样的呢？
我们使用 Fasttext 的时候，把所有的单词向量平均一下，用来做情感分析效果很糟糕。那么什么样的分类问题，可以使用这样的方式呢？给你一个小提示，你觉得什么样的文本分类，只关心出现的单词是什么，而不关心它们的顺序？
期待你的思考，也欢迎你把这节课分享给感兴趣的朋友，我们下一讲再见。
本文深入探讨了新时代预训练模型性能的比较，着重关注了GPT-3的优势。作者首先介绍了预训练模型的重要性，并对比了Fasttext、T5和GPT-3这三个模型的效果。通过对模型的向量化和数据集的测试，展示了模型的性能和应用。文章指出，GPT-3在预训练模型领域具有明显优势。此外，文章还探讨了零样本学习的方式，并对T5模型进行了效果测试。 在实际测试中，Fasttext和T5模型的效果并不理想，而GPT-3表现出明显的优势。尽管T5模型在初始测试中表现不佳，但在使用参数更多的T5-Base模型后，效果得到改善。通过对整个数据集进行测试，T5-Base模型在判断评论情感方面表现出了较高的准确率。文章的研究成果为读者提供了对不同预训练模型性能的全面了解，为其在实际应用中做出更明智的选择提供了重要参考。 总的来说，本文通过对比不同模型的效果，展现了GPT-3在预训练模型领域的优势，并为读者提供了对新时代模型性能的深入了解。文章还提到了使用T5模型进行零样本学习的方式，以及对不同模型在情感分析方面的效果测试。这些内容为读者提供了丰富的技术信息，帮助他们更好地理解和应用预训练模型。
分享给需要的人，Ta购买本课程，你将得20元
生成海报并分享2023-03-27
赞 52
提建议
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
上一篇
03｜巧用提示语，说说话就能做个聊天机器人
下一篇
05｜善用Embedding，我们来给文本分分类
全部留言(32)
- 最新
- 精选
Daniel2023-03-28 来自北京BERT：BERT 基于 Transformer 的（Encoder）。BERT 使用双向（bidirectional）的自注意力机制，可以同时捕捉文本中的前后上下文信息。 GPT：GPT 基于 Transformer 的（Decoder）。GPT 使用单向（unidirectional）的自注意力机制，只能捕捉文本中的前文（left context）信息。 能否请老师详细讲一下，这两者的差别？作者回复: BERT是 白日依山尽，_____，欲穷千里目 GPT是 白日依山尽，_____ 一个是完形填空，一个是续写。GPT没法看到后面的东西，所以在很多语义理解的指标上不如BERT。 但是很多真实的使用场景你看不到后面的东西，所以从AGI的路线上，很多人觉得GPT才是正确路径。
58
stg6092023-03-28 来自浙江老师能说说 1. davinci, ada 等模型与gpt3的关系吗？ 2. gpt3有1750亿参数，那是不是 ada 也有这么大量的参数作者回复: 1. 都是 GPT 家族的模型， ada, babbage, curie, davinci 模型从小到大 2. ada模型应该要小得多，所以便宜
8
Roy Liang2023-03-27 来自广东1. 小数据集验证结果是这样，但是门外汉其实不懂表格里什么意思 precision recall f1-score support negative 0.25 0.99 0.40 136 positive 1.00 0.48 0.65 789 accuracy 0.56 925 macro avg 0.62 0.74 0.52 925 weighted avg 0.89 0.56 0.61 925 2. 可能适合新闻分类、垃圾邮件分类等不关心词语次序的场景吧作者回复: 1. 往后看一讲，第5讲里会具体解释这些指标的含义。 2. 对，主题分类不太关注语序
共 4 条评论6
Geek_61af672023-03-27 来自北京不关心顺序的话，对tags进行分析会不会比较合适？作者回复: tags的确不太关注顺序
5
qingtama2023-04-21 来自北京请问老师，这里的2.2亿参数，可以理解成向量所在的维度是2.2亿个吗？作者回复: 不能，输出的向量维度没有那么大。 是指所谓的 transformer模型里面的各种变量参数有2.2亿个。
4
王昊翔Harry2023-04-04 来自英国这一套流程有没有在Colab友好的。本身没有编程经验该怎么着手？作者回复: 我在 https://github.com/xuwenhao/geektime-ai-course 放了可以在Colab运行的Notebook代码，只要通过 pip 安装好依赖的包就能够运行。
3
HXL2023-04-02 来自北京还是没明白什么是 预训练模型作者回复: 预训练模型，顾名思义，就是“预先训练好的模型” 也就是这个模型，用了别的很多很多数据训练好了。可能和我们现在要解决的问题的数据有关，也有可能没有关系。 但是因为 预训练模型 通常通过海量的数据训练的，它多少对你现在要解决的问题的知识是有了解和帮助的。
3
摩西2023-04-16 来自广东刚接触机器学习，基础比较薄弱，请问老师 Transformer 是指什么？这里的transformer 跟 huggingface 中的transformer是相同的内容吗？作者回复: transformers 是指一种深度学习的基础模型架构，huggingface的transformers库，相当于为这类模型架构的开发、部署、试用定义了一个通用的接口形式。
2
yanyu-xin2023-04-01 来自广东fasttext 无法安装成功，程序没有调试。 T5的程序经过修改，可以安装使用。需要修改了以下句子： 一、将fasttext中的句子： positive_text = """Wanted to save some to bring to …… negative_text = """First, these shoul…… 完整黏贴到T5程序开始中。 二、增加：from sklearn.metrics.pairwise import cosine_similarity 三、将调用cosine_similarity 函数参数使用 NumPy 的 reshape()由一维数组转换为二维数组,具体如下: def get_t5_score(sample_embedding): return cosine_similarity(sample_embedding.reshape(1, -1), positive_review_in_t5.reshape(1, -1)) - cosine_similarity(sample_embedding.reshape(1, -1), negative_review_in_t5.reshape(1, -1)) def evaluate_embeddings_approach(): def label_score(review_embedding): return cosine_similarity(review_embedding.reshape(1, -1), positive_review_in_t5.reshape(1, -1)) - cosine_similarity(review_embedding.reshape(1, -1), negative_review_in_t5.reshape(1, -1)) 四、将datafile_path = “fine_food_reviews_with_embeddings_1k.csv的地址” #按你电脑实际路径填写 五、减少数量量，将fine_food_reviews_with_embeddings_1k.csv 的数据减少到100个，运行速度快很多展开作者回复: 👍 https://github.com/xuwenhao/geektime-ai-course 可以看一些我放在线上的Notebook是否从上到下按步骤执行是否可以。 文章里面对执行顺序做了一些假设。
2
Geek_93970d2023-05-12 来自北京load_facebook_model 这个函数就得卡好半天，模型文件6.7G，加载很慢。另外 fasttext 既然用的是 gensim 里的，那就不用单独安装了吧？安装也安装不上，PackagesNotFoundError。作者回复: pip install fasttext 不行么？
1
