狭路相逢勇者胜 – Google会用其Transformer专利控告ChatGPT？
https://bit.ly/45gV8LO
众所周知，这一波OpenAI夯遍全球的ChatGPT，系指一种基于生成式预训练转换模型
(Generative Pre-trained Transformer，简称GPT)，其字母中的“T”代表Transformer
即转换模型之意。然而，该Transformer模型中极为重要之“自注意力”
(Self-attention)，却并非由OpenAI所原创，而是由软件科技业的领头羊Google研究实验
室，所创造出来的大型语言模型之核心技术。
近年来Google一向积极建构AI相关智财，并以拥有众多AI相关专利组合技术著称。此
Google所创造出的Transformer模型，为这波聊天机器人在深度学习方面带来重大突破，
该转换模型神经网络(Transformer Neural Networks)关键技术，为ChatGPT-3打下强大基
础，更酝酿出众多生成式AI (Generative AI)，得以有今日的非凡成就，故此一
Transformer模型之自注意力机制，Google可谓是原始发明人。
按Google旗下科学家2017年在神经资讯处理系统（NIPS: Neural Information
Processing Systems，后更名为NeuroIPS）会议上，发表一篇题为《Attention is All
You Need》的开创性论文。截至2023年1月，该论文已被引用超过62,000次，成为AI领域
被引用次数最多的论文之一。Google不仅创造这项技术，还获得相关的专利，其中如极为
重要之US 10,452,978 B2专利[1]（以下称’978专利），是一件在专利布局上涵盖非常全
面的专利(请参本刊之前报导：Google Transformer模型专利 – ChatGPT自注意力机制之
重要推手)，其最早先透过美国临时案于2017年5月23日与2017年8月4日先行申请，然后在
2018年6月28日转为正式案申请，并在2019年10月22日被核准授予。
这意味着，Google可以透过诉讼来维权，从而挫败竞争对手。但，Google会用
Self-attention专利来挑战ChatGPT吗？值得关注。其实，根据别人论文中的技术来开发
应用，不一定就会侵犯到该技术中的专利，这还得看实际个案而定，但就Open AI之GPT中
Transformer模型的运用，的确带有一些’978专利申请范围内之特征，但是否真的落入请
求项的范围，当然还需视Claim Construction的结果而定。具体而言，Google的’978专
利包含系统项、电脑储存媒介项与方法项，其中又以系统项涵盖层面最广，所以就系统项
之独立项1所记载的重要元件，再配合专利说明书中的实施例做统整，现试图用简单的方
式说明’978专利中Transformer模型的技术特征。关于系统项的独立项1所记载的重点，
整理如下：
1. 系统包含一或多计算机，透过计算机执行指令一序列转导神经网络(Sequence
Transduction Neural Network)，该序列转导神经网络将一输入序列转导为一输出序列
[2]；
2. 该序列转导神经网络包含一编码神经网络（其实就是编码器），用以接收该输入序列并产
生编码表示法（其实就是词嵌入(Word Embedding)[3]），以及一解码神经网络（其实就
是解码器），用以接收该编码表示法并产生该输出序列；
3. 该编码神经网络又包含一或多个编码器子网络(Encoder Subnetwork)，用以接收该编码表
示法并处理其对应的输入位置做位置嵌入(Positional Embedding)，而位置嵌入正是透过
编码器自注意力子层(Encoder Self-attention Sub-layer)所接收与执行；以及
4. 透过编码器子网络应用一自注意力机制，使多个输入位置而产生对应的个别输出，其中该
注意力机制又包含计算Q (Query)、K (Key)、V (Value)矩阵等三大步骤，最后将Q、K、V
矩阵计算完毕后而产生对应的个别输出。
关于’978专利的详细内涵，请参前揭文：“Google Transformer模型专利 – ChatGPT自
注意力机制之重要推手”。如从’978专利独立项1所揭露的技术内容来看，真的与
Transformer模型相关的技术特征只有3与4。换言之，若把3和4抽离，’978专利可能就和
习知的深度学习神经网络没什么两样。简单来说，Transformer模型的特色就是，透过结
合位置嵌入与自注意力机制的运作，而能够在冗长的输入序列中，做出很好的语言推理与
“理解”（或是“类理解”），例如机器翻译、人机对话，就是很好的应用场景。
过去AI发展因历经几波载沉载浮之影响，专利部署相对不那么被重视，很多学术文献的发
表往往停留在概念验证阶段，而AI平台带来的典范转移(paradigm shifts)，也仅在少数
利基市场(niche markets)中发生，较少去实行专利货币化。至2014年AI迎来深度学习革
命性破口，于2015年深度神经网络包括图像辨识、语音识别等方面开始大幅超越人类，一
些企业才开始积极建构AI智财组合。而Google在AI相关之智财权保护很积极，其在收购
DeepMind后，将许多公开发表或习知概念申请专利[4]，随意简单检索其于WIPO的专利至
少即有数百多件，甚至 Alphabet子公司DeepMind，也拥有强大的IP智财组合，带动业者
纷纷起而效尤。
当时为了证明AI公司的估值合理，风险投资常会建议对一些核心技术申请专利，但10年前
由于仍受限于算力和芯片技术的影响，即便有再好的AI算法，也难以透过当时的技术水
平，作出今日各领域令人惊艳的AI创新产品与服务，所以投资AI研发的风险仍大。因此，
Google在对待处理许多AI新创时，可能遵循类似的思路，认为拿AI专利起诉别人或许无太
大的商业意义，而业界共同努力建立AI生态系统才是王道。换言之，长期以来Google的理
念，似乎是抱持着开放其研究成果(available as open source)，让外部研究人员用
Google开源的AI相关研究与程式码，继续迭代开发，而相对的，这样也有利于Google的产
品与服务，发展为属于Google自己的技术生态圈。
然而，近几个月来的情况似乎发生了些变化，随者ChatGPT、DALL-E、Midjourney等具突
破性典范转移工具席卷市场，在在挑战Google作为AI领域的主导地位，且甚至可能会削弱
其重要之搜寻引擎的业务时，Google领导阶层的态度可能略有改变，其领导阶层认为，
Google在努力发布产品的同时，应将新技术保留在内部，DeepMind实验室研究人员皆认知
：“是时候进行竞争，并将知识保留在公司内了(keep knowledge in-house)”。
Google迄未提告缘由 1