3.第三种是decoder self-attention。这类似于编码器自注意力，其中所有查询、键和值都从上一层检索。自感知解码器可以在任何位置使用以服务任何位置直到该位置。未来值用(-Inf) 屏蔽。这称为掩蔽自注意力。

4.解码器的输出最终通过一个全连接层，然后是一个softmax 层，为输出序列的下一个单词生成预测。

与 RNN 的比较：

Transformer 架构通过在完全独立的架构中处理学习的这些方面，消除了 RNN 架构的时间相关方面。因此，transformer具有与最长句子中的单词一样多的线性层，但这些层是相对素数且与时间无关的，就像 RNN 的情况一样。因此，它具有难以置信的并行性并且易于计算。

Transformers 并非在所有应用中都优于传统的 RNN，RNN 在某些情况下仍然胜出，但在那些它们可以与传统 RNN 匹敌或击败的应用中，它们的计算成本更低。

Transformer的优点：

1. 可以理解彼此相距很远的顺序元素之间关系。

2. 文本表达更准确。

3. 对序列中的所有元素给予同等的关注。

4.在更短的时间内处理和训练更多的数据。

5. 几乎可以处理任何类型的顺序数据。

6. 有助于异常检测。

上述技术部分内容总结一下，Transformer 模型是一种新型的编码器-解码器模型，它使用自我意识来理解语音序列。这允许并行处理，并且比具有相同性能的任何其他模型都快得多。通过这样做，他们为现代语言模型（例如，BERT和GPT）以及最近的生成模型铺平了道路。

最后，目前ChatGPT能什么？不能做什么？

注：以下内容均来自于笔者的单独测试结果，时间截止于2023年2月5日。不可视作任何官方或者机构的正式评估反馈。

目前可以高质量完整的文本应答（生成）任务举例：

1.如何说服让家人做家务？

2.如何告知客户功能无法实现？

3.用鲁迅的口吻对某主题写一篇短文。

4.将一篇文章汇总成4个核心词语。

5.在某Excel表格中，如果实现在每行的末尾形成一个汇总。

6.生成一个Kmeans的python代码并做出示意图图。

目前无法高质量实现的文本应答（生成）功能：

1.很难处理需要逻辑推理任务。回答很大程度上取决于描述这些任务的格式（如：顺序，主谓宾的构成特点，是否有倒桩等）。

2.在长文本提问时无法准确过滤无关的信息。

3.进行上下文的聊天式对话依然有困难。

4.有时处理数字或者数学运算有问题。

5.对于主观类型的问题回答取决于互联网上公开的内容，因此可能会带有各种政治/道德/公序良俗等先验的偏向性问题，在私有话题中需要进行后验性的检验。

最后的最后，对我们而言ChatGPT怎么用？

ChatGPT既然是一种基于自然语言处理和机器学习技术的新型聊天机器人系统，那么它原则上可以模拟任何有意义或者逻辑自洽的对话。它可以自动识别用户输入的意图，并基于预先训练的模型生成对话响应，以满足用户的需求。它可以帮助企业提高客户服务水平，提升营销效果，为用户提供简单快捷的查询服务。所以，对于客户中心产业来说，智能应答机器人，智能知识库，智能语音路由，智能质量管理等，这些业务领域都在可以想象的空间里！

作者：石云

现任CC-CMM标准组织执行理事，首席六西格玛黑带大师。国内客户管理领域知名刊物编委，中国呼叫中心产业能力建设管理规范专家委员会委员，ACE资格认证体系总负责人，客户中心国际标准创世人之一，客户中心年度报告总撰稿人。在学术领域，兼任中国大数据产业研究中心首席顾问、上海财经大学金融科技研究院智能金融工作组首席科学家、复旦大学客座讲师。是国内服务业领域统计学与运筹学应用方面的最知名专家之一。在呼叫中心领域发表的著作包括：《客户中心能力成熟度模型》，《CC-CMM客户中心能力成熟度标准与专业术语表》，《中国客户中心产业发展报告》，《高绩效呼叫中心运营》，《基于客户中心的绩效管理与数据分析》，《呼叫中心设计与规划》，《呼叫中心流程管理》等。