首页 > 资讯 >

ChatGPT的“底座”Transformer诞生六周年：在它之后世界地覆天翻_世界观焦点

2023-06-14 11:21:42 来源：互联网

作者｜Neil Shen邮箱｜neilshen@pingwest.com

(资料图片仅供参考)

理解了人类的语言，就理解了世界。

一直以来，人工智能领域的学者和工程师们都试图让机器学习人类的语言和说话方式，但进展始终不大。

因为人类的语言太复杂，太多样，而组成它背后的机制，往往又充满着不可名状的规律。

过去人们在自然语言处理中多采用 RNN 循环神经网络，它十分类似于人类逻辑上对语言的理解——强调上下文顺序、前后文逻辑关系。

但是这种顺序方式让 RNN 无法实现并行计算，也就是说，它的速度十分缓慢，而规模也很难扩大。

直到 2017 年 6 月 12 日，一篇名为Attention is All You Need的论文被提交到预印论文平台 arXiv 上。

一切从此改变。

Transformer 的提出直接导致导致了现在生成式 AI 风暴。机器好像在一瞬间就学会了如何与人类自如交流。

在Transformer提出前，人们讨论的是如何让智能音箱听懂你的提问，而Transformer之后，人们讨论的重点变成了该如何防范AGI 通用智能对人类造成的危险。

Attention is All You Need这篇论文的重要性可见一斑，刚刚过去的 12 号正是它六周岁生日。

Transformer 这个名字据说来自论文联合作者之一的Llion Jones，原因无它，因为 attention （注意力）这个词听上去实在是有点不酷。

Llion Jones 也是目前八个论文联合作者中唯一一个还在谷歌上班的人。剩下的七个人都纷纷离职创业。最有名的大概是Character AI，创始人是论文作者之一的Noam Shazeer，他之前在谷歌工作了 20 年，负责构建了 LaMDA。

那么Transformer 究竟有什么点石成金的魔力呢？我们尽量用通俗易懂的话来解释。

Transformer 彻底抛弃了前面提到的 RNN 循环神经网络这套逻辑，它完全由自注意力机制组成。

大家都有过这样的经验，打乱个一子句中字词序顺的多很时候不并响影对你句子的解理。比如上面这句。

这是因为人脑在处理信息时会区分权重，也就是说，我们的注意力总是被最重要的东西吸引走，次要的细节则被忽略。

Transformer 模仿了这一点，它能够自动学习输入的序列中不同位置之间的依赖关系并计算其相关性（而不是对整个输入进行编码）。这让针对序列的建模变得更加容易和精准。

在深度学习中引入这种机制，产生了两个明显好处。

一方面，并行计算得以实现，基于Transformer架构的模型可以更好地利用 GPU 进行加速。由此，Transformer为预训练模型的兴起奠定了基础，随着模型的规模越来越大，神经网络开始出现所谓“智能涌现”，这正是人们认为像 GPT 这样的大模型打开了 AGI 通用人工智能大门的原因。

另一方面，尽管最开始Transformer的提出是被用来解决自然语言，更准确地说，机器翻译问题，但很快人们就发现，这种注意力机制可以推广到更多领域——比如语音识别和计算机视觉。基于Transformer的深度学习方法实际上适用于任何序列——无论是语言还是图像，在机器眼中它们不过是一个个带规律的向量。

在这两种优点的共同作用下，人工智能领域迎来了前所未有的爆发，后面的故事我们都知道了。

下面是关于Transformer的几个 fun facts。前面三个来自英伟达 AI 科学家 Jim Fan 庆祝Transformer架构被提出六周年的推文。

1、注意力机制不是Transformer提出的。

注意力机制是深度学习三巨头之一的Yoshua Bengio于 2014 年提出的。这篇名为 Neural Machine Translation by Jointly Learning to Align and Translate 的论文中首次提出了注意力机制。堪称自然语言处理里程碑级的论文。在那之后许多人都投身于对注意力机制的研究，但直到Transformer论文的出现大家才明白——相对别的因素而言，只有注意力机制本身才是重要的。

2、Transformer和注意力机制最初都只为了解决机器翻译问题。

未来人们回溯 AGI 的起源，说不定要从谷歌翻译开始。尽管注意力机制几乎可以用在深度学习的所有领域，但一开始不管是Yoshua Bengio的论文还是Transformer架构，都单纯是为了提高机器翻译的效果。

3、Transformer一开始并未引人注意，至少对NeurIPS来说如此。

NeurIPS 2017上一共有 600 多篇论文被接受，Transformer 是其中之一，但也仅此而已了。讽刺的是当年NeurIPS上的三篇最佳论文联合起来的引用次数只有五百多次。

4、OpenAI 在Transformer发布的第二天就 all in 。

虽然很多人一开始并没有意识到Transformer的威力，但这其中显然不包括 OpenAI。他们在Transformer 甫一发布就迅速意识到了这意味着什么，并迅速决定完全投入其中。

实际上，GPT 中的 T 正是Transformer。

5、Transformer几乎立刻取代了 LSTM 的地位。

在Transformer提出之前，自然语言处理使用广泛的是名叫长短期记忆网络 LSTM 的序列生成模型，它的一大缺陷是对输入内容的先后顺序敏感，因此无法大规模使用并行网络计算。

然而在Transformer被提出之前，许多人都认为 LSTM 将在很长一段时间内容主导NLP的发展。

出海活动推荐

印尼，一个人口近3亿的多岛国家，正迅速崛起为全球新消费市场的热门目的地。品玩Global邀请您参与将于6月20日举办的“出海印尼，新消费快速破局之道”目的地出海活动，一同探索印尼独特的文化魅力和多元的商业生态！

华利集团(300979.SZ)：今年公司印尼工厂将开始投产，将会有很多的越南籍的干部跟越南籍的工程师派往印尼世界微动态

我的团长我的团海报图片（我的团长我的团海报）|环球热点

焦点播报:信用卡被起诉了该怎么办？信用卡逾期被起诉的流程是什么?|全球关注

好酱网酒对中国历史文化的影响酒是一种文化的传承|世界热资讯

非法侵入住宅罪客观要件什么|天天热文

当前速看：注意！这5个时刻不适宜洗澡，“最佳时间”是……

四川四地消委会签订同城化发展消费维权一体化合作协议|世界通讯

保卫黄河大合唱原唱完整版_保卫黄河

每日消息!厦门精心打造“红罂”禁毒宣传特色品牌

你生命中最重要的两个贵人，是上天安排来渡你的，知道吗(精华版)_全球新资讯

快递行业市场规模进一步扩大跨境能力持续增强-天天短讯

澄清！中国光伏行业协会：从业者在德被带走多有不实全球快看

湖南益阳兰溪镇举行“百米龙舟”登江仪式

大气层高度_大气层各层高度简介介绍

水无懒优_水无濑优夏作品封面图片水无濑优夏哪一部最好看-环球最资讯

华北理工大学轻工学院怎么样_华北理工大学怎么样

阿里巴巴大数据实践_阿里巴巴大数据-天天观焦点

河南男子跳河救人，体力耗尽留遗言，被救女子猛然抓住他：一起走|天天聚看点

欧洲杯意大利vs英格兰直播_欧洲杯意大利vs英格兰-每日热门

迪生力：拟向全资子公司汽轮智造增资-天天热点

磨机什么牌子好_磨机全球速看料

河北农村信用社网银下载安装_河北省信用社网上银行

天天百事通！索尼曾要求旗下3A游戏MTC评分不低于90分

环球时讯：石家庄地铁四号线最新消息

评测

ChatGPT的“底座”Transformer诞生六周年：在它之后世界地覆天翻_世界观焦点

作者｜NeilShen邮箱｜neilshen@pingwest com理解了人类的语言，就理解

2023-06-14

新宙邦：6月13日融资买入1304.59万元，融资融券余额4.14亿元

6月13日，新宙邦（300037）融资买入1304 59万元，融资偿还891 63万元，

2023-06-14

焦点日报：全国麦收进度过八成

【在希望的田野上】央视网消息(新闻联播)：农业农村部小麦机收调度显示

2023-06-14

世界献血者日：无偿献血有何要求？需要注意什么？一文了解|天天视讯

世界献血者日2023年6月14日是第20个世界献血者日，衷心感谢每一位无偿

2023-06-14

涨停雷达：ST板块异动 *ST全筑触及涨停

今日走势：*ST全筑今日触及涨停板，该股近一年涨停9次。　　异动原因揭

2023-06-14

行情

精彩推送

ChatGPT的“底座”Transformer诞生六周年：在它之后世界地覆天翻_世界观焦点

上一篇：新宙邦：6月13日融资买入1304.59万元，融资融券余额4.14亿元

下一篇：最后一页

ChatGPT的“底座”Transformer诞生六周年：在它之后世界地覆天翻_世界观焦点

作者｜NeilShen邮箱｜neilshen@pingwest com理解了人类的语言，就理解

新宙邦：6月13日融资买入1304.59万元，融资融券余额4.14亿元

6月13日，新宙邦（300037）融资买入1304 59万元，融资偿还891 63万元，

焦点日报：全国麦收进度过八成

【在希望的田野上】央视网消息(新闻联播)：农业农村部小麦机收调度显示

世界献血者日：无偿献血有何要求？需要注意什么？一文了解|天天视讯

世界献血者日2023年6月14日是第20个世界献血者日，衷心感谢每一位无偿

涨停雷达：ST板块异动 *ST全筑触及涨停

今日走势：*ST全筑今日触及涨停板，该股近一年涨停9次。 异动原因揭

萧山400余名优抚对象今年分期疗养 世界观焦点

萧山400余名优抚对象今年分期疗养杭州网发布时间：2023-06-1408:32近期

全球快讯:海南2022年鼓励使用新能源汽车补贴资金清算结果公示

省工业和信息化厅6月13日发出公示，拟对第一批符合我省补贴条件的29676

@市民 别错过海口美兰区这个“购车直补”活动→ 世界微头条

为进一步提振消费信心，挖掘消费潜力，促进我区汽车行业消费增长，美兰

蚕丝被能洗衣机洗吗（蚕丝被用洗衣机洗可以吗） 热议

来为大家解答以上问题。蚕丝被能洗衣机洗吗，蚕丝被用洗衣机洗可以吗这

测评三星星曜Pen二合一笔记本怎么样以及微星GP75游戏本如何_每日报道

二合一产品是笔记本领域重要的分支，喜爱它的朋友都被这种产品轻便、易

安徽迪科数金科技有限公司芜湖分公司 环球观焦点

1、安徽迪科数金科技有限公司芜湖分公司于2018年12月25日成立。2、法定

前沿热点：港龙中国地产（06968.HK）：6月13日南向资金增持659万股

6月13日北向资金增持659 0万股港龙中国地产（06968 HK）。近5个交易日

睢怎么读及同音字（睢怎么读）

来为大家解答以下的问题，怎么读及同音字，睢怎么读这个很多人还不知道

刺客信条1攻略_简介刺客信条1攻略 天天快播

1、进入游戏，首先要进行移动训练。如果操作手柄，可以用左操纵杆移动

今天央行“降息”了！房贷也会跟着便宜吗？ 世界即时

文 夏宾央行今天“降息”了！为维护银行体系流动性合理充裕，中国人民

关于人偏肺病毒 中疾控发布最新提示

6月，全国多地气温升高，进入夏季传染病高发季节。中国疾控中心6月13日

看点：男子这一脚，被罚200元，记3分！

“你脚为什么要伸到外面？”“你看我使不到左脚呀！”近日蚌埠交警接群

短期政策利率先行降息10基点，6月LPR会降吗？

央行降息了。

孤芳自赏杨小壮歌曲下载_孤芳自赏 杨小壮演唱歌曲

1、《孤芳自赏》是杨小壮涉嫌侵权抄袭《Somethingjustlikethis》演唱的

天天新资讯：德国4月工业产出环比上升0.3%

德国联邦统计局7日公布的数据显示，受建筑业产出上升推动，经季节和工

石应康最牛院长_石应康的父母 全球短讯

石应康出生于医学世家，父亲石美森曾是重庆医科大学附属儿童医院创始人

最新消息：农村合作大病医疗保险范围（大病医疗保险范围）

来为大家解答以下的问题，村合作大病医疗保险范围，大病医疗保险范围这

环球热讯:办银行卡需要多少岁？70岁以上的人还能办银行卡吗？

未满16周岁的未成年人办理银行卡需要监护人陪同，且办理银行卡时需要携

先导智能拟以2至3亿元回购股份_观点

【环球网财经综合报道】6月12日，先导智能（300450）发布关于回购公司

中工漫评丨让传统文化“活”起来、传下去 报资讯

绘画 刘琪 文字 张雪中国国家博物馆的“古代中国陈列”现场，常年挤

祝云武：把党的组织优势转化为城市基层治理的效能优势 世界观点

华利集团(300979.SZ)：今年公司印尼工厂将开始投产，将会有很多的越南籍的干部跟越南籍的工程师派往印尼 世界微动态

我的团长我的团海报图片（我的团长我的团海报）|环球热点

焦点播报:信用卡被起诉了该怎么办？信用卡逾期被起诉的流程是什么?|全球关注

好酱网 酒对中国历史文化的影响 酒是一种文化的传承|世界热资讯

非法侵入住宅罪客观要件什么|天天热文

当前速看：注意！这5个时刻不适宜洗澡，“最佳时间”是……

四川四地消委会签订同城化发展消费维权一体化合作协议|世界通讯

保卫黄河大合唱原唱完整版_保卫黄河

每日消息!厦门精心打造“红罂”禁毒宣传特色品牌

你生命中最重要的两个贵人，是上天安排来渡你的，知道吗(精华版)_全球新资讯

快递行业市场规模进一步扩大 跨境能力持续增强-天天短讯

澄清！中国光伏行业协会：从业者在德被带走多有不实 全球快看

湖南益阳兰溪镇举行“百米龙舟”登江仪式

大气层 高度_大气层各层高度简介介绍

水无懒优_水无濑优夏 作品封面图片 水无濑优夏哪一部最好看-环球最资讯

华北理工大学轻工学院怎么样_华北理工大学怎么样

阿里巴巴大数据实践_阿里巴巴大数据-天天观焦点

河南男子跳河救人，体力耗尽留遗言，被救女子猛然抓住他：一起走|天天聚看点

欧洲杯意大利vs英格兰直播_欧洲杯意大利vs英格兰-每日热门

迪生力：拟向全资子公司汽轮智造增资-天天热点

磨机什么牌子好_磨机 全球速看料

河北农村信用社网银下载安装_河北省信用社网上银行

天天百事通！索尼曾要求旗下3A游戏MTC评分不低于90分

环球时讯：石家庄地铁四号线最新消息

一线 | 清理隔离垃圾的环卫“大白”：脱下防护服，浑身是馊味

一线|对接社区梳理需求 民企线上线下双保供

今日走势：*ST全筑今日触及涨停板，该股近一年涨停9次。　　异动原因揭

萧山400余名优抚对象今年分期疗养世界观焦点

@市民别错过海口美兰区这个“购车直补”活动→ 世界微头条

蚕丝被能洗衣机洗吗（蚕丝被用洗衣机洗可以吗）热议

安徽迪科数金科技有限公司芜湖分公司环球观焦点

刺客信条1攻略_简介刺客信条1攻略天天快播

今天央行“降息”了！房贷也会跟着便宜吗？世界即时

文夏宾央行今天“降息”了！为维护银行体系流动性合理充裕，中国人民

关于人偏肺病毒中疾控发布最新提示

孤芳自赏杨小壮歌曲下载_孤芳自赏杨小壮演唱歌曲

石应康最牛院长_石应康的父母全球短讯

中工漫评丨让传统文化“活”起来、传下去报资讯

绘画刘琪文字张雪中国国家博物馆的“古代中国陈列”现场，常年挤

祝云武：把党的组织优势转化为城市基层治理的效能优势世界观点

华利集团(300979.SZ)：今年公司印尼工厂将开始投产，将会有很多的越南籍的干部跟越南籍的工程师派往印尼世界微动态

好酱网酒对中国历史文化的影响酒是一种文化的传承|世界热资讯

快递行业市场规模进一步扩大跨境能力持续增强-天天短讯

澄清！中国光伏行业协会：从业者在德被带走多有不实全球快看

大气层高度_大气层各层高度简介介绍

水无懒优_水无濑优夏作品封面图片水无濑优夏哪一部最好看-环球最资讯

磨机什么牌子好_磨机全球速看料

一线|对接社区梳理需求民企线上线下双保供

因140瓶援沪油焖笋走红浙江奉化76岁老人直言很害羞

今日走势：*ST全筑今日触及涨停板，该股近一年涨停9次。　　异动原因揭