gpt通过图灵（GPT模型（学习笔记））gpt 快来看

互联网是1个充满惊喜和变革的领域，每天都有新的事件发生。让我们抛开繁忙的日常，1起探索最近互联网带给我们的1些新鲜事物吧。

GPT模型（学习笔记）GPT模型 Gererate Pre-Training Model本质上是无监督的学习，在transformer的基础之上层数增加到12层在模型方面没有很大的贡献，证明了大模型、大数据集有效。

数据集： Books Corpus （7000本书， 800百万词， 5GB文本）8个GPU训练1个月论文：Radford et al. "Improving Language Undersatnding by Generative Pre-Training"。

是高低文token 向量是词token 向量矩阵是位置矩阵给定1个无监督的tokens ， 这也是Language Model的条件概率极大似然极大似然估计转换成Loss Function.贡献二****。

做法：（1） Pre-trainning 的Transformer_block固定住（2）替换最后1层线性layer分类器, 之前的分类器层是预测词，向量很大如果做文档的分类，100类文档，就是100维。

（3）给定1个带有Label的数据集合D, 就可以算croess-entry loss是最后1层的激活层，是线性输出层这里的是最后1个词还是多个词，具体去调整（4）最后的loss function预训练的loss（ML极大似然估计） , 监督学习的loss ，这就是多任务学习。

GPT模型（学习笔记）GPT模型 Gererate Pre-Training Model本质上是无监督的学习，在transformer的基础之上层数增加到12层在模型方面没有很大的贡献，证明了大模型、大数据集有效。

数据集： Books Corpus （7000本书， 800百万词， 5GB文本）8个GPU训练1个月论文：Radford et al. "Improving Language Undersatnding by Generative Pre-Training"。

是高低文token 向量是词token 向量矩阵是位置矩阵给定1个无监督的tokens ， 这也是Language Model的条件概率极大似然极大似然估计转换成Loss Function.贡献二****。

做法：（1） Pre-trainning 的Transformer_block固定住（2）替换最后1层线性layer分类器, 之前的分类器层是预测词，向量很大如果做文档的分类，100类文档，就是100维。

（3）给定1个带有Label的数据集合D, 就可以算croess-entry loss是最后1层的激活层，是线性输出层这里的是最后1个词还是多个词，具体去调整（4）最后的loss function预训练的loss（ML极大似然估计） , 监督学习的loss ，这就是多任务学习。

GPT模型（学习笔记）GPT模型 Gererate Pre-Training Model本质上是无监督的学习，在transformer的基础之上层数增加到12层在模型方面没有很大的贡献，证明了大模型、大数据集有效。

数据集： Books Corpus （7000本书， 800百万词， 5GB文本）8个GPU训练1个月论文：Radford et al. "Improving Language Undersatnding by Generative Pre-Training"。

是高低文token 向量是词token 向量矩阵是位置矩阵给定1个无监督的tokens ， 这也是Language Model的条件概率极大似然极大似然估计转换成Loss Function.贡献二****。

做法：（1） Pre-trainning 的Transformer_block固定住（2）替换最后1层线性layer分类器, 之前的分类器层是预测词，向量很大如果做文档的分类，100类文档，就是100维。

（3）给定1个带有Label的数据集合D, 就可以算croess-entry loss是最后1层的激活层，是线性输出层这里的是最后1个词还是多个词，具体去调整（4）最后的loss function预训练的loss（ML极大似然估计） , 监督学习的loss ，这就是多任务学习。

喜欢这篇文章的小伙伴记得关注收藏点赞哦！