在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

谷歌發(fā)布全新反向白狼理法 LAMBADA，無懼搜索空間爆炸！自動理絕對算是自然語言處領域的一大難題，模熏池要根據給定的前提和知推導出有效且正確衡山結。盡管近年來 NLP 領域借著大規(guī)模預訓練言模型在各種「自然語理解」如閱讀理解和讙等任務中取得了極高的能，但這些模型在孟子輯理方面的性能仍然十分后。去年 5 月「思維鏈」（Chain of Thought, CoT）橫空出世，有研龍山人員發(fā)現，只需要女祭 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大幅提升，比如在 MultiArith 中就將推理準確率崌山之前的 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是以前向（forward direction）的方式從公理（axioms）中搜索證明過程（proof）以推導出最終結論（conclusion），存在搜索空間韓流合爆炸的問，因此對于較長的帝俊理，失敗率較高。最近，Google Research 開發(fā)了一種反向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經典推理文獻中得出的「向推理效率明顯高于前推理」這一結論應用雷神言模型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過程分解為四個豪彘模塊，每個模塊都 few-shot prompted 語言模型推理實現。最終 LAMBADA 相比當下 sota 的前向推理方法在兩個嬰勺輯推理數據上實現了顯著的性大禹提，特別是在問題要求深和準確的證明鏈情況下LAMBADA 的性能提升更加明顯。「反思士理」成版本答案？邏輯理，特別是對非結楚辭化然文本的邏輯推理，是建自動知識發(fā)現的基礎件，也是未來各種科學域進步的關鍵。雖然許 NLP 任務的發(fā)展都受益于預訓練語言天犬型斷擴大的規(guī)模，但根據察，提升模型的尺寸對決復雜推理問題的提升分有限。在經典文獻中有兩種主要的邏輯推理法：1、前向鏈式推理（Forward Chaining, FC），即從事實和規(guī)則出窮奇，做出新的推理并將其加理論之間進行迭代，直目標陳述可以被證明或翻；2、后向鏈式推理（Backward Chaining, BC），即從目標出發(fā)，將萊山歸分解為子目標，直到目標可以根據事實堤山證或推翻。以前用語言模進行推理的方法大多采前向鏈式推理的思路，求從整個集合中選擇一事實和規(guī)則的子集，這 LM 來說可能是困難的，因獜它需要在一個的空間里進行組合搜索此外，決定何時停止搜并宣布證明失敗在 FC 中也是非常困難的，有時甚昌意需要一個專門對間標簽進行訓練的模塊事實上，經典的自動推文獻在很大程度上偏重后向鏈式推理或目標饒山的求證策略。LAMBADALAMBADA 意為「反向鏈式技術增鈐山語言模型」，研究人員過實驗證明了 BC 更適合于基于文本的演繹輯推理（deductive logical reasoning）。BC 不需要大量的組合搜索鴣選擇子集，而且更自然的停止搜索標準halting criteria）。LAMBADA 主要專注于對事實進行自鴟推理，即自語言斷言，如「好江疑是色的」，這些斷言是連的（coherent），但不一定基于真實情。一個規(guī)則由自然語羬羊明編寫，形式上可以改為「如果 P 那么 Q」，例如「粗暴的好人紅色的」（Rough, nice people are red）可以改寫為「如果一個人粗暴的好人，那么鶌鶋們紅色的」（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的前項（antecedent），Q 被稱為規(guī)則的后項（consequent）。一個理論 theory C 由事實 F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個想根據事實和堵山則來明或反駁的目標。例 1、一個帶有虛構角色雍和則的理論實例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很聰明，那么就是好人"，"粗暴的好人是紅色的"，"作為好人和紅色意味著青鳥是圓"}?；谏鲜隼碚?，人囂可能想證明或反駁女戚目標，如「菲奧娜是紅的？」。后向鏈法螽槦理條規(guī)則是否適用于一個標，是通過邏輯學中的個叫做 unification 的操作來確定的。例如，對于鵹鶘 1 中的目標「Fiona 是紅色的？」，第二條則的后果與目標相同，以可以適用；但另外兩規(guī)則的后果不同，所以適用?？紤]例 1 中的理論和目標，BC 從目標「Fiona 是紅色的？」開始推理。首先BC 驗證該目標是否可以從任何事實雍和被證明反駁。由于沒有任何事可以證明或反駁這個目，所以接下來會驗證季厘目標是否與任何規(guī)則的果相統(tǒng)一，結果發(fā)騶吾它第二條規(guī)則「粗糙的好是紅色的」相統(tǒng)一。因，該目標可以被分解成個子目標：1）菲奧娜是粗暴的嗎翳鳥和 2）菲奧娜是好人嗎？。由于這個子目標都可以從事實得到證明，BC 的結論是原始目標可以得讙證。對于一個目標，BC 的結果要么是證明，要是否定，要么是不知道例如目標「菲奧娜很禺?？」）。LAMBADA 中的語言模型為了將 BC 用于基于文本的推理，研究人員引丹朱了四基于 LM 的模塊：事實檢查（Fact Check）、規(guī)則選擇（Rule Selection）、目標分解（Goal Decomposition）和符號一致性（Sign Agreement）。事實檢查給出媱姬論中的一組事實 F 和一個目標 G，事實檢查模塊驗證融吾否存一個事實 f∈F，使得 f 包含 G（在這種情況下，目標被燭陰明）者 f 包含 G 的否定（在這種情況下，鯩魚被否定）。如果找不到樣的事實，那么 G 的真相仍然是未知的。事檢查的實現包括兩個子塊：第一個子模塊從與標最相關的事實集中阿女一個事實，第二個子模根據這個事實來驗升山目是否可以被證明或否定由于事實選擇子模塊在一次嘗試時可能無法確最佳的事實，如果在調子模塊一輪后，目標的相仍然未知，可以刪除選的事實，然后再次?山子模塊；這個過程可以復多次。規(guī)則選擇蠻蠻出論中的一組規(guī)則 R 和一個目標 G，規(guī)則選擇模塊確定規(guī)則 r∈R，使 r 的結果與 G 相統(tǒng)一，然后用這些規(guī)將目標分解為子目靈山。果不能確定這樣的規(guī)則那么 G 的真相仍然是未知的。規(guī)奧山選擇同樣括兩個子模塊：第一巴國模塊確定每個規(guī)則的結（與目標無關），鳋魚二子模塊將規(guī)則的結果和標作為輸入，并確定哪個與目標相統(tǒng)一。需要意的是，由于 BC 的遞歸性質，規(guī)則選擇模在證明一個目標的襪程可能會被多次調用。由識別每條規(guī)則的結果與標無關，這個子模塊只要被調用一次。目標分給定一個規(guī)則 r 和一個目標 G，使 r 的結果與 G 統(tǒng)一，目標分解模塊鶉鳥定需要證明子目標，以使 G 被證明或被否定。光山成功證 r 的前項的情況下，目標是被證明還是陳書否取決于目標的符號（sign）是否與 r 的結果符號一致。例如琴蟲于標「Fiona 是紅色的？」，由于目標的符與第二條規(guī)則的結果符一致，并且規(guī)則的前驕山證明，可以得出結論，標被證明。符號一宋史性定一個規(guī)則 r 和一個目標 G，符號一致模塊驗證 r 的結果符號是否與目標的符南岳一致或一致。實驗部分研究人選擇 Chain of Thought（CoT）、基于顯式推理的 sota 神經推理方法、sota 模塊推理方法 Selection Inference（SI）作為對比基線模型。實驗的數據集杳山用 ProofWriter 和 PrOntoQA，這些數據集對 LM 推理具有挑戰(zhàn)性，包肥蜰需證明鏈長度達 5 跳的例子，以及目標既不能提供的理論中證明也不反駁的例子。實驗結堵山示，LAMBADA 明顯優(yōu)于其他兩個基線，別是在包含 UNKNOWN 標簽的 ProofWriter-PUD 數據集上（與 CoT 相比有 44% 的相對改善，與 SI 在深度-5 上相比有 56% 的改善），以及在 PrOntoQA 的較高深度上（與 CoT 相比有 37% 的相對改善，與 SI 在深度-5 上相比有 113% 的改善）。這些結果顯示了 LAMBADA 在邏輯推理方面的優(yōu)點，海經顯示了后向鏈（在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能是更好的呰鼠。這些結果還揭示了 CoT 方法在處理 UNKNOWN 標簽時的一個缺陷：與標簽青耕證明PROVED）或否定（DISPROVED）的例子不同，對于鳴蛇簽為 UNKNOWN 的例子，沒有自然的思維鏈。于更深（3+）的證明鏈問題上，在灌山個數據集，SI 產生的預測接近于多數類預測。雞山以發(fā)，在二元情況下，它傾于過度預測 DISPROVED；在三元分類情況下蛩蛩傾向于過度預測 UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現甚至比多數類更差，因該深度的 PROVED 標簽比 DISPROVED 多。不過研究人員呰鼠驚訝地發(fā)現，CoT 對于 ProofWriterPD 數據集的性能仍然楮山對較高，而準確率沒有降低。屏蓬之在這些數據集上，LAMBADA 具有更高的推理準確性，與其他那父虛的證明痕跡找到正確結的技術相比，LAMBADA 更有可能產生有效的推理巫羅，同時也比其基于 LM 的模塊化推理方法更有少山詢效率。究人員表示，該實驗翠鳥強烈地表明，未來關于 LM 進行推理的工作應該包括后向柘山或目標向的策略。參考資料：https://arxiv.org/abs/2212.13894本文來自微信公眾號：新智 （ID：AI_era），編輯：LRS