Meta的新Megabyte系統：突破GPTs面臨的障礙

GPT可以翻譯文本、總結數據並創建適合於營銷等各種目的的內容。

Meta的Megabyte旨在克服其他GPT系統（如OpenAi的GPT-4和ChatGPT）面臨的障礙。

Megabyte與其他GPT模型不同，因為它不使用標記化。

Megabyte模型包括本地變壓器、補丁嵌入器和全局變壓器。

簡介

技術創新已經徹底改變了人類互動和執行各種任務的方式，包括個人或商業任務。人工智能，也稱為機器學習，能夠執行寫作或制定財務計劃等不同活動。本文討論了生成式預訓練變換器（GPT）在自然語言處理中的重要性及其應用。我們還將重點介紹Meta的兆字節系統，該系統克服了GPT的幾個障礙。

在自然語言處理中GPT的重要性

生成式預訓練變壓器（GPT）在經濟的各個領域都有許多好處，因為它們提高了生產率並增強了社會意識。首先，重要的是要知道，GPT能夠在各種主題上生成類似人類的文本。

GPTs使用各種參數處理數據並以易於理解的方式呈現。有各種應用程序使用GPTs為人類和社會創造價值。

從一個語言翻譯信息到另一個語言，GPT是人工智能驅動應用的重要組成部分，它們還能夠將大量數據生成和總結為易於理解的信息。在某些情況下，GPT還能生成適用於不同目的的內容，如詩歌、博客文章、學術論文、營銷材料和表情包等。

企業也可以使用GPT來驅動聊天機器人和虛擬助手，這些機器人和助手可以以對話的方式與真實人員進行交互，幫助他們理解不同的商業或社會方面。就業務目的而言，它們可以對任何主題或興趣領域生成情感分析。例如，有一些人工智能驅動的協議可以生成加密市場情緒，從而讓交易員和其他投資者做出明智的投資決策。

GPT 在自然語言過程和人工智能應用中的其他用例包括營銷產品的內容創建、客戶服務、財務信息分析以及數據提取和報告等。

傳統GPT模型的侷限性

雖然有各種各樣的 GPT的類型 由ChatGPT和Openai等不同平臺創建，其中大多數都有嚴重的限制。

目前最好的生成式人工智能模型 包括OpenAI的GPT-4和ChatGPT 使用了由谷歌研究人員引入的Transformer架構。自注意力的增加會使輸入和輸出的長度增加，從而每個單詞都需要關注，這就產生了挑戰。基本上，當輸入的單詞很少時，這個系統運行良好。

然而，Megabyte方法使用不同的架構，將輸入和輸出的序列劃分為補丁，而不是令牌。因此，它可以處理比當前模型更多的單詞。

此外，Meta的方法解決了市場上大多數模型普遍存在的可擴展性問題。基本上，Megabyte模型使得單個前饋網絡能夠對由多個令牌組成的補丁進行操作。因此，Meta的Megabyte系統可以並行執行而不是串行執行。即使基礎模型具有許多參數，這也增加了其效率。

閱讀也: Meta元宇宙：公司正在做什麼？

一些模型，如深度神經網絡，很難理解和解釋，這可能會降低信任、問責和引起倫理關切。因此，需要更簡單的模型，如 Meta Ai，易於解釋。這是因為大多數用戶希望瞭解系統的工作原理，以便對其產生信任。

另一個問題是，一些模型需要大量數據來進行驗證和訓練。然而，這樣的數據可能無法獲取，從而降低了它們的效率。此外，與隱私、偏見、噪音、安全以及數據不完整性相關的問題都會對大多數 GPT 模型的穩健性和性能產生負面影響。

大多數傳統的人工智能模型在進行計算時既昂貴又消耗大量能量。這是因為大部分系統都是計算密集型的。因此，它們消耗大量資源並增加環境成本。

此外，由於標準化的差異，大多數這些模型的互操作性較低。因此，它們很難集成，因為它們使用不同的語言、框架和格式。然而，像ONNX或通用編譯器這樣的開放格式可以增強它們之間的通信。

重要的是要認識到，Meta AI 的架構是以克服大多數這些問題的方式創建的。

Meta的兆字節系統

Meta AI已經開發了一個新的 稱為Megabyte的GPT系統 其目的是繞過大多數GPT模型使用的標記化。其生成式預訓練變壓器（GPT）系統可以處理大量的數據，如視頻和小說，而無需使用標記化。

作為一種點，令牌化的功能與通過將大量數據轉換為令牌進行文件壓縮類似。轉換器處理令牌以創建輸出令牌，系統對其進行解碼。

通常，標記化使 AI 模型能夠將大型數據字符串轉換為數字。 例如，系統可以將“我最喜歡的顏色是紅色”等短語轉換為令牌字符串，例如 3666、4004、3124、318、2266、13“，然後進行處理。

然而，通過這種方法處理的數據量是有限的。例如，GPT-3.5 的限制在3,000到4,000字之間，而GPT-4 的限制在24,000到32,000字之間。

相比之下， 元數據 已經放棄了令牌化，轉而採用基於端到端建模的新的多層預測架構，該架構依賴於超過一百萬字節的數據。考慮到它可以處理由多達750,000個詞組成的文檔，這是一個很大的成就。這意味著Megabyte系統可以處理三本中等大小的小說中包含的數據。

正如所指出的，兆字節克服了由於其硬數據限制而產生的令牌化的障礙，需要大量時間來訓練系統和高能耗。此外，沒有令牌化，就有可能訓練支持非英語語言的人工智能模型，這些語言可以用標準的8位字符進行編碼，例如。

Meta的人工智能加密AI將擴大現有的機會，進一步使各種區塊鏈技術民主化。例如，開發人員可以用俄語或法語等本地語言引入加密貨幣交易機器人。更重要的是，去中心化自治組織（DAO）也可以用本地語言編寫其協議。

Meta Megabyte系統是如何工作的

Megabyte，多尺度解碼器架構，可以對超過100萬字節的序列進行建模，同時保持端到端可微分性。它使用多尺度轉換器，將不同層次納入其架構，從而對數據中的全局和局部模式進行建模。

基本上，Megabyte模型包括三個組件，即本地模塊、補丁嵌入器和全局模塊（全局變換器）。本地模塊，也稱為本地變換器，預測每個補丁中的字節，而嵌入器則負責通過組合字節嵌入來對補丁進行編碼。最後，全局模塊，也稱為全局變換器，輸入和輸出各種補丁表示。

下圖顯示了兆字節的概述。

上圖顯示了Megabyte的一些關鍵組件。最近的實驗表明，Megabyte模型可以比Transformer模型快40％。但必須注意的是，在實驗中使用的Megabyte模型具有15億個參數，而Transformer只有3.5億個參數。

總的來說，Megabyte相對傳統的變壓器有幾個優點。例如，它減少了自我簽名的計算成本，使得處理長序列成為可能。

其次，它使用每個路徑的前饋層而不是每個位置的前饋層，從而有效利用計算資源。

此外，它增強了處理期間的更大並行性，從而實現更快的序列生成，同時保持高性能。

Megabyte架構改善了可擴展性，減少了資源消耗，並實現了與各種基於GPT的應用程序的平穩通信。通過將長序列分成兩個較短的序列，最小化了自注意力成本，從而實現了其中一些好處。此外，參數共享和壓縮算法最小化了GPT的資源需求。

結論

Meta 的 Megabyte 使用生成式預訓練的 Transformer 系統處理大量數據，而不使用分詞。它採用多層預測架構，從而降低成本，提高速度，提高效率，增加可擴展性和互操作性。