論壇 |“通用人工智能”正引發深刻變革
來源：《能源評論》 時間：2023-09-06 16:49
2月11日，斯坦福大學商學院的計算機科學家米哈爾·科辛斯基在預印本平臺arXiv提交了一篇論文《心智理論可能從大語言模型中自發涌現》。論文描述了他給GPT-3.5在內的9個GPT模型所做的兩個經典測試。結果顯示，GPT-3.5（ChatGPT的同源模型）可以完成93%的心智理論任務。換句話說，其心智水平已經相當于一個9歲兒童。
心智，即一個人各項思維能力的總和，用以感受、觀察、理解、判斷、選擇、記憶、想象、假設、推理，并據此指導其行為。也有專家將其解釋為“一個人理解他人或自己心理狀態的能力，包括同理心、情緒、意圖等”。定義雖不同，但有一個觀點是公認的：心智是人類獨有的能力。
根據這項研究，心智已經出現在ChatGPT等人工智能應用上。這讓不少人質疑，人工智能是否真正具有了人類的認知，將來能達到什么樣的水平？要弄清這些問題，我們需要了解“什么是認知”“認知和人工智能的相互關系”，進而才能闡明人工智能是否具有心智、能否和人進行心靈交流等問題。
“暴力計算”成就ChatGPT
1956年7月13日，美國計算機科學家、認知科學家約翰·麥卡錫在美國新罕布什爾的漢諾威市達特茅斯學院組織召開了一場會議（以下簡稱“達特茅斯會議”）。會議把“精確地描述人的學習能力和智慧，并利用機器將這種能力與智慧加以模擬”確認為人工智能的發展方向?！叭斯ぶ悄堋边@個概念自此誕生。
達特茅斯會議之后，人工智能研究者們逐漸形成了符號主義、聯結主義、行為主義等學派。其中的聯結主義學派強調以自下而上的方式，模仿人類的神經元，希望用神經網絡的連接機制實現人工智能。聯結主義人工智能經過了60年的研究，在2006年終于提出了深度學習的概念，并從人類的視覺和自然語言智能的特性中獲得啟發，設計了多種多樣的深度神經網絡架構。其中的Transformer神經網絡引入了類似人腦的自注意力機制，它出自谷歌2017年發表的論文《注意力是你所需要的》，使用了注意力機制來計算輸入序列和輸出序列之間的關系，被廣泛用于自然語言處理（NLP）領域。Transformer神經網絡催生了預訓練大模型的發展，ChatGPT就是基于Transformer神經網絡架構而建立的。
人腦的自然神經網絡是具有千億級別神經元的超級復雜系統，其核心具備關鍵性質——涌現。涌現的概念出自諾貝爾獎得主、美國理論物理學家菲利普·安德森的文章《多者異也》。這種性質的關鍵在于“物理系統在每一個復雜度上都會出現全新的性質”。當下，以ChatGPT為代表的大型語言模型中也出現了“涌現”這種能力，即當模型大到超過特定的臨界值時，就會出現很多小模型根本不具備的能力。大規模語言模型一旦具備這種涌現性質，只需給這些模型提供語言提示，就實現小樣本和零樣本學習，迅速泛化和掌握新的語言能力，執行相關語言認知任務。
ChatGPT出現涌現的基礎是“暴力計算”——通過海量的數據和不斷增加的模型的參數規模，耗費更多的算力來訓練，大大提高模型可以學習的信息量。據統計，從GPT、GPT-2到GPT-3，其模型參數量從1.17億個快速增加到1750億個，預訓練數據量則從5吉字節增加到45萬億字節。據OpenAI團隊發表于2020年的論文，訓練一次1746億參數的GPT-3模型需要的算力約為3640 算力單位。
可以說，這種“暴力計算”模式成就了ChatGPT，但從本質上看，這來自算力的提高和模型工程化方法的極致優化。歸根到底，算力的提升讓ChatGPT這類大語言模型的規模超過閾值，其語言能力就有質的飛躍，即實現了“相變”。但是由于深度學習基礎理論研究的滯后，使得人們對其背后的涌現機理仍然缺乏嚴格的理論分析。
我們知道，人類自我意識等所有心理活動都是億萬個神經元通過脈沖放電方式，進行復雜交互涌現的結果。這里面涉及微觀、介觀和宏觀三個層面：“微觀”指從單個腦神經元的運行模式，“宏觀”指整個大腦皮層各腦區及其協同的過程，而宏觀與微觀二者間的“介觀”指皮層區域內神經元群體、網絡或功能柱中的動態活動。目前神經科學、認知科學的研究對宏觀和微觀做得比較深入，但是對于大腦介觀層面的研究，雖然也有很多研究進步，仍然還存在大量的未解之謎。
像ChatGPT這樣的超大規模的人工神經網絡，其規模從某種意義上看已經接近人腦的神經元規模。雖然其內在結構和運行方式與大腦是完全不同的，但是微觀、介觀和宏觀三個層面的分析方法仍然適用。在宏觀層面，通過模仿人的認知行為，人們構造出可以做題、下棋、駕駛的深度神經網絡模型；在微觀層面，人們會研究如何通過反向傳播，訓練更新神經網絡模型的每個參數；但是在介觀層面，即對人工神經網絡的每一層、每個功能區域，如何有效地揭示微觀的海量參數，如何涌現宏觀能力的內在機理，尚缺乏足夠的認識和研究。尤其是針對百億級別以上的預訓練語言模型，其內部一定是形成了中間層表示結構，以刻畫語言遵循的語法規則、語義概念、上下文語境等，從而展現出一定的語言認知能力。
需要指出的是，“暴力計算”雖然賦予ChatGPT相當驚艷的能力，甚至能夠通過情境學習，模擬出一些有心智的行為，但是它仍然存在先天的局限，產生的黑箱模型難以解釋，出現的邏輯錯誤難以及時糾正，更不可能讓ChatGPT等語言模型產生和人一樣的自我意識。只有對超大規模的介觀結構和機理進行更深入的研究，才能進一步提升模型現有的認知能力和推理能力，實現更高層次的智能。
突破需要雙重引導
“人模人樣但不是人”是一些人對ChatGPT的吐槽，盡管其生成的內容條理清晰、概括全面，但其不具備嚴謹的邏輯推理能力，無論是在事實性問題的分析，還是解數學題等方面，還會時常出現各種錯誤，產生所謂認知錯覺（Hallucination）問題。要想提高人工智能產品的推理能力，減少或避免認知錯覺，需要從多方面進行引導。
首先是理論方法層面的創新，可以探索將不同的Transformer架構技術路線融入算法模型，從而提高其認知能力。目前Transformer架構兩個比較常見的預訓練模型家族是GPT和BERT。它們都遵循了預訓練和微調的過程，但是在訓練目標和模型結構和使用上存在差異：GPT采用的是單向的Transformer，通過預測下一個詞來學習語言模型，類似對話中的“接龍”；而BERT采用的是雙向的Transformer，即通過預測句子中丟失的詞來學習語言模型，類似語文考試中的“完形填空”。GPT對于文本生成更為敏感，而BERT對于文本理解更為敏感。因此，一般而言基于GPT模型的ChatGPT更適合文本生成，而BERT模型家族更擅長語言理解。GPT模型家族在文本生成方面大放異彩，成為NLP領域最受矚目的模型。同時BERT模型也得到非常廣泛的應用，產出了不少基于BERT的超大規模模型。或許在未來，我們可以看到BERT大模型的性能得到進一步的改進提升，從而實現更強大的語言理解能力。
還有一條重要的理論途徑，就是把符號主義和聯結主義實現深度融合，使得大模型在文本生成的過程中，加入更嚴密的邏輯分析、反省、驗證、糾錯等步驟，提高模型的邏輯推理能力。人工智能的符號主義學派從創立肇始，就基于嚴格的數理邏輯理論框架之上，著名的美國人工智能專家司馬賀（Herbert Alexander Simon）開發了通用問題求解器，以實現自動化的數學定理證明。這些先驅式的研究工作，不但引出了后面的知識庫、專家系統和知識圖譜的成果，還對認知計算模型的創立有著深刻的影響?？梢韵胍?，如果能夠實現符號與神經網絡的緊密互動，就能從根本上構建基于現有大模型的新型認知智能系統，把具有相當隨機性文本生成與嚴格的長步驟邏輯推理結合起來，或為解決常識等挑戰問題開辟新的可行途徑。
其次從模型工程的角度看，綜合現有MLOps的成熟技術手段，在大模型訓練和部署的生命周期中，進一步引導和聽說大模型涌現的語言認知行為。例如編寫提示語就是引導大模型的重要方式。在由海量語料自監督訓練而成的GPT3.5后，人們需要以其為基礎，編寫很多包含任務場景的提示語，以引導ChatGPT學會具體的任務技能。因而，人們輸入的提示語的品質，直接決定了激發生成性人工智能的潛力，即按照人們的需要輸出正確的結果。除此之外，人們可以對ChatGPT的輸出行為進行評分排序，以便更好地引導它輸出符合人類價值觀和社會規范的內容。這種人類反饋強化學習模式，也可以和內置的知識規則相結合，通過自我約束、自我過濾，讓模型輸出的結果更好，讓交互越來越自然。
“大道至簡”與電力創新
有人把現階段深度神經網絡的研究過程形象比作“煉丹”，其中，數據是金木水火土等自然元素，算法框架是用來“煉丹”的爐子，算力就是煉丹爐下的“三昧真火”。 深度神經網絡的研究者就好比煉丹師，通過調參數、改數據煉出一個個新的模型。但這種比喻隱藏著另一層意思，即“煉丹”式的人工智能研究更適合于學術界的實驗室環境，但是這種煉丹作坊需要很高的成本，才能實現與業務場景的對接落地，非常不適用于大規模的工程應用。
2006年，深度學習的概念被提出后，如何針對視覺、自然語言處理、自動駕駛等不同領域，設計各種最優架構的深度神經網絡，一直是當前人工智能領域的研究主流。在經過多年“煉丹”探索之后，Transformer成為當下自然語言處理領域的主流模型，基于Transformer的預訓練大語言模型更是成為主導性的架構，并正在向視覺、自動駕駛等領域擴散。
隨著未來更成熟的大模型出現，人工智能或將更廣泛地應用于工業化時代的各個領域，以Transformer為基礎模型架構的新產業生態，有可能徹底把“煉丹式”的人工智能研究變成一個工業化時代的AI應用推廣。毫無疑問，我們站在了一個人工智能發展的十字路口上，正在從過去極盡復雜邁向“大道至簡”，也讓更多專用領域可以更容易地實現與人工智能的融合應用。
電力就是其中之一。眾所周知，電力系統是一個復雜人工系統，涉及很多系統交互的內容。人工智能在電力系統應用中，除了純粹的神經網絡數據驅動方法以外，還可以將物理方程有效地嵌入進來。當然，這需要電力專家參與到神經網絡的模型設計當中，結合最新技術和實際數據進行研究，尋找混合型解決方案。
此外，還要探索創新性思路，讓人工智能利用自身強大的數據歸納和分析能力去學習電力系統的規律和原理，得出面向模型生態的新研究范式。比如，有了基座大模型以后，怎樣自動地根據領域需求派生出各種小的定制化的小模型？模型與模型間如何進行參數共享和遷移？再比如，在大模型預訓練方式上，不采取現在的絕對集中方式，而是走集中和分布相結合的路線，依靠不同行業的專業信息，將小模型自主聚合成大模型？如何確保大模型的安全性和可信度，避免可能存在的安全隱患和漏洞傳播到整個模型生態中？
這些都是大模型時代智能模型生態構建和產業落地的重要問題。我們應該擁抱大模型帶來的全新機遇，加快國產自主可控大模型的研發進程，推動相關產業生態的發展，迎接新一輪人工智能熱潮的挑戰。（國家人工智能標準化總體組副組長、北京航空航天大學人工智能研究院教授 吳文峻）
責任編輯：楊娜
校對：高慧君
