生成式對抗網路(GAN)

買賣虛擬貨幣

眾所周知,Jarvis+是一個人工智慧+區塊鏈的公司,這次讓我們來聊一下與人工智慧有關的知識:生成式對抗網路。那麼什麼是生成式對抗網路呢?

生成式對抗網路(GAN, Generative Adversarial Networks )是一種深度學習模型,是近年來複雜分佈上無監督學習最具前景的方法之一。模型透過框架中(至少)兩個模組:生成模型(Generative Model)和判別模型(Discriminative Model)的互相博弈學習產生相當好的輸出。原始 GAN 理論中,並不要求G和D都是神經網路,只需要是能擬合相應生成和判別的函式即可。但實用中一般均使用深度神經網路作為G和D。一個優秀的GAN應用需要有良好的訓練方法,否則可能由於神經網路模型的自由性而導致輸出不理想。

近年來,隨著計算能力的提高和各行業資料量的劇增,人工智慧取得了快速發展,使得研究者對人工智慧的關注度和社會大眾對人工智慧的憧憬空前提升。學術界普遍認為人工智慧分為兩個階段:感知階段和認知階段。在感知階段,機器能夠接收來自外界的各種訊號,例如視覺訊號、聽覺訊號等,並對此作出判斷,對應的研究領域有影象識別、語音識別等。在認知階段,機器能夠對世界的本質有一定的理解,不再是單純、機械地做出判斷。

生成式模型不僅在人工智慧領域佔有重要地位,生成方法本身也具有很大的研究價值。生成方法和判別方法是機器學習中監督學習方法的兩個分支。生成式模型是生成方法學習得到的模型。生成方法涉及對資料的分佈假設和分佈引數學習,並能夠根據學習而來的模型取樣出新的樣本。生成式模型從研究出發點的角度可以分為兩類:人類理解資料的角度和機器理解資料的角度。

從人類理解資料的角度出發,典型的做法是先對資料的顯式變數或者隱含變數進行分佈假設,然後利用真實資料對分佈的引數或包含分佈的模型進行擬合或訓練,最後利用學習到的分佈或模型生成新的樣本。這類生成式模型涉及的主要方法有最大似然估計法、近似法、馬爾科夫鏈方法等。從這個角度學習到的模型具有人類能夠理解的分佈,但是對機器學習來說具有不同的限制。例如,以真實樣本進行最大似然估計,引數更新直接來自於資料樣本,導致學習到的生成式模型受到限制。而採用近似法學習到的生成式模型由於目標函式難解一般只能在學習過程中逼近目標函式的下界,並不是直接對目標函式的逼近。馬爾科夫鏈方法既可以用於生成式模型的訓練又可以用於新樣本的生成,但是馬爾科夫鏈的計算複雜度較高。

從機器理解資料的角度出發,建立的生成式模型一般不直接估計或擬合分佈,而是從未明確假設的分佈中獲取取樣的資料,透過這些資料對模型進行修正。這樣得到的生成式模型對人類來說缺乏可解釋性,但是生成的樣本卻是人類可以理解的。以此推測,機器以人類無法顯式理解的方式理解了資料並且生成了人類能夠理解的新資料。在GAN提出之前,這種從機器理解資料的角度建立的生成式模型一般需要使用馬爾科夫鏈進行模型訓練,效率較低,一定程度上限制了其系統應。

任意可微分的函式都可以用來表示GAN的生成器和判別器,由此,我們用可微分函式D和G來分別表示判別器和生成器,它們的輸入分別為真實資料x和隨機變數z。G(z)則為由G生成的儘量服從真實資料分佈的樣本。如果判別器的輸入來自真實資料,標註為1。如果輸入樣本為G(z),標註為0。這裡D的目標是實現對資料來源的二分類判別:真(來源於真實資料x的分佈)或者偽(來源於生成器的偽資料G(z)),而G的目標是使自己生成的偽資料G(z)在D上的表現D(G(z))和真實資料x在D上的表現D(x)一致,這兩個相互對抗並迭代最佳化的過程使得D和G的效能不斷提升,當最終D的判別能力提升到一定程度,並且無法正確判別資料來源時,可以認為這個生成器G已經學到了真實資料的分佈。

GAN對於生成式模型的發展具有重要的意義。GAN作為一種生成式方法,有效解決了可建立自然性解釋的資料的生成難題。尤其對於生成高維資料,所採用的神經網路結構不限制生成維度,大大拓寬了生成資料樣本的範圍。所採用的神經網路結構能夠整合各類損失函式,增加了設計的自由度。GAN的訓練過程創新性地將兩個神經網路的對抗作為訓練準則並且可以使用反向傳播進行訓練,訓練過程不需要效率較低的馬爾科夫鏈方法,也不需要做各種近似推理,沒有複雜的變分下界,大大改善了生成式模型的訓練難度和訓練效率。GAN的生成過程不需要繁瑣的取樣序列,可以直接進行新樣本的取樣和推斷,提高了新樣本的生成效率。對抗訓練方法摒棄了直接對真實資料的複製或平均,增加了生成樣本的多樣性。


所來說,GAN的核心思想來源於博弈論的納什均衡。它設定參與遊戲雙方分別為一個生成器(Generator)和一個判別器(Discriminator),生成器的目的是儘量去學習真實的資料分佈,而判別器的目的是儘量正確判別輸入資料是來自真實資料還是來自生成器;為了取得遊戲勝利,這兩個遊戲參與者需要不斷最佳化,各自提高自己的生成能力和判別能力,這個學習最佳化過程就是尋找二者之間的一個納什均衡。

免責聲明:

  1. 本文版權歸原作者所有,僅代表作者本人觀點,不代表鏈報觀點或立場。
  2. 如發現文章、圖片等侵權行爲,侵權責任將由作者本人承擔。
  3. 鏈報僅提供相關項目信息,不構成任何投資建議

推荐阅读

;