過去幾年來，OpenAI 新推出的文字生成器模型 GPT-3 在加密貨幣社羣引起了熱議。一些人表達了對 GPT-3 的好奇心，另一些人卻有些極端，聲稱加密貨幣社羣應該對此感到恐懼。如此熱烈的反響難免會讓人覺得有些奇怪，因為 GPT 模型已經不新鮮了。過去一年來，機器學習社羣都在積極討論這一話題。首個 GPT 模型的研究發表於 2018 年 6 月。之後，2019 年 2 月，GPT-2 模型釋出，最後就是 3 個月前的 GPT-3 模型。我認為 GPT-3 本身在加密貨幣生態系統中的影響並不大。但是，GPT-3 模型背後的技術代表了過去幾年來深度學習的巨大進步，因此可能與加密貨幣分析密切相關。在本文中，我將深入剖析 GPT-3 背後的一些概念，並分析 GPT-3 對加密貨幣行業的影響。什麼是 GPT-3？GPT-3 是一個龐大的自然語言理解（NLU）模型，使用多達 1750 億個引數來處理多項語言任務。因此，GPT-3 成了全球最大的 NLU 模型，超過了微軟的 Turing-NLG 模型及其前身 GPT-2 模型。GPT-3 模型能夠執行多項語言任務，例如，機器翻譯、回答問題、語言分析以及文字生成。GPT-3 生成的偽造文字甚至能夠以假亂真，引起了新聞媒體的注意。

這與加密貨幣有什麼關係？想象一下，如果有人能定期生成虛假的新聞稿來影響小幣種的價格，聽起來是不是很可怕？！但是這並不是 GPT-3 最主要的功能。GPT-3 是一種基於語言的模型，因此在文字資料集合的基礎上執行。從加密貨幣市場的角度來看，這種功能雖然很酷，但是肯定沒那麼有趣。我們真正應該關注的是 GPT3 背後的技術。GPT-3 背後的秘密GPT-3 是在深度學習架構 Transformer 的基礎上開發的。Transformer 的概念最初在 Google Brain 團隊成員於 2017 年發表的《你需要的只有注意力機制》（Attention is all you need）論文中提到。Transformer 架構的主要創新之處是“注意力機制”概念。注意力機制通常用來解決 Seq2Seq 問題。所謂的 Seq2Seq 問題，指的就是將一個序列（單詞、字母、數字）處理後，輸出另一個序列的問題。這類問題常見於文字生成、機器翻譯和回答問題等語言智慧場景。每當你看見一個 Seq2Seq 場景，你都應該將它與編碼器-解碼器架構聯絡起來。編碼器會捕獲輸入序列的語境，並將它傳遞給解碼器，由解碼器生成輸出序列。透過識別輸入中應該“注意”的關鍵部分，注意力機制解決了傳統神經網路架構的侷限性問題。

想象一下從西班牙語到英語的機器翻譯場景。通常來說，解碼器會將西班牙語文字輸入到一個名為“虛構語言”的中間表示內，然後利用這個中間表示將其翻譯成英語。傳統的深度學習架構需要編碼器和解碼器之間持續進行反饋，導致效率極其低下。從概念上來說，注意力機制會觀察輸入序列，並在每個步驟中決定輸入序列中比較重要的部分。例如，在機器翻譯場景中，注意力機制會聚焦於那些編碼器“應該注意的”單詞，以便執行翻譯。支援 GPT-3 模型的 Transformer 架構是傳統的編碼器-解碼器架構，透過插入注意力塊來提高效率。注意力塊的作用是完整檢視全部的輸入和當前輸出，推斷相關性，從而最佳化最終輸出的生成過程。由 Transformer 架構生成的模型可以經過海量資料集的訓練，並實現高效並行化。果不其然，在 Google Brain 的論文發表後，各公司競相構建超大模型來處理不同的語言任務，例如，Google 的 BERT、Facebook 的 RoBERTa、Microsoft 的 Turing-NLG 和 OpenAI 的 GPT-3。當初，包含 15 億個引數的 GPT-2 模型震驚了全世界。短短一年之內，這一紀錄先是被微軟的 Turing-NLG 打破，又被包含 1750 億個引數的 GPT-3 碾壓。簡而言之，就 Transformer 架構而言，大即是好。第一代 Transformer 架構聚焦於語言任務。但是，Facebook 和 OpenAI 等公司最近已經發表了將 Transformer 應用於影象分類的相關研究。有人或許認為此舉只是在嘗試偽造影象。但是這一研究的意義遠不止如此。

在沒有大型已標記資料集的情況下，影象造假對於簡化影象分類模型的訓練來說至關重要。已經有人嘗試將 Transformer 架構應用於金融時間序列資料集，希望可以改進量化交易策略。Transformer 和加密貨幣既然我們已經介紹了 Transformer 架構和 GPT-3 的背景知識，不妨再來思考一下文章開頭的問題：GPT-3 真的不利於加密貨幣嗎？當然了，GPT-3 模型確實可以生成虛假新聞，從而影響幣價，這並非玩笑。但是我認為，就目前的情況而言，GPT-3 不會威脅到加密貨幣行業。更有趣的是，Transformer 架構可能對下一代加密貨幣智慧解決方案產生影響。以下是一些值得考慮的場景：交易策略。顯然，如果事實證明 Transformer 架構可應用於金融資料集，這類架構可能會對加密貨幣的量化策略產生重大影響。總的來說，深度神經網路為量化交易開拓了新的領域。從線性迴歸和決策樹等基礎機器學習模型來看，量化基金正在研究複雜的深度學習策略。作為原生數字資產，加密貨幣最適合採用量化策略。迴圈神經網路（RNN）和卷積神經網路（CNN）等技術在量化投資領域大受歡迎，而且在密碼學技術中發揮了很好的作用。就像在語言分析方面那樣，Transformer 架構可能優於 CNN 和 RNN ，尤其是在將“注意力”集中到一個資料集的某些部分（例如，2020 年 3 月的比特幣崩盤），以及處理海量交易（例如，區塊鏈交易）方面。

區塊鏈分析。相比現有方法，Transformer 架構可以更加高效地檢測區塊鏈中的模式。Transformer 架構的優勢之一是，能夠將注意力集中到輸入集的特定部分，並推斷潛在的輸出。想象這樣一個場景，我們在分析比特幣挖礦交易或交易所的流量，試圖推斷訂單簿採用的模式。Transformer 架構似乎更能勝任這個任務。去中心化的 Transformer 架構。目前，人們在努力將 Transformer 模型應用到 SingularityNet 等去中心化的 AI 架構中。此舉將拓展 Transformer 模型的應用場景。迄今為止， GPT-3 等Transformer 模型都是大公司的特權。只有大公司的 AI 實驗室才有足夠的資料和資源來構建並執行如此大規模的神經網路。去中心化 AI 為我們提供了另一種方案，可以在基於激勵機制執行的去中心化網路中訓練、執行並監控 Transformer 架構。就像那些已經在去中心化基礎設施中執行的神經網路架構那樣，我們很快就能看見 GPT-3 之類的模型執行在 SingularityNet 或 Ocean Protocol 等去中心化 AI 平臺上。GPT-3 和 Transformer 架構是深度學習發展史上的巨大突破。在接下來的幾年，我們可能會看到 Transformer 架構滲透進深度學習的方方面面，而且這種影響力可能會擴散至金融市場。加密貨幣會成為受益者。沒錯，GPT-3 確實令人矚目，但是沒必要懼怕它。相反，我們應該利用這些AI 技術，將加密貨幣變成史上最智慧的資產。CoinDesk 的專欄作家傑西·羅德里格斯（Jesus Rodriguez）是加密貨幣市場資訊分析平臺 *IntoTheBlock 的 CEO。他在大型科技公司和對沖基金擔任領導職務。他是活躍的投資者、演講者、撰稿人以及哥倫比亞大學的客座教授。*

本文系作者本人觀點，不代表 CoinDesk 中文版立場。