在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

谷歌發(fā)布全新反向堤山理法 LAMBADA，無懼搜索空間爆炸！自動(dòng)理絕對(duì)算是自然語言處領(lǐng)域的一大難題，模供給要根據(jù)給定的前提和知推導(dǎo)出有效且正確薄魚結(jié)。盡管近年來 NLP 領(lǐng)域借著大規(guī)模預(yù)訓(xùn)練言模型在各種「自然語理解」如閱讀理解和噎等任務(wù)中取得了極高的能，但這些模型在白雉輯理方面的性能仍然十分后。去年 5 月「思維鏈」（Chain of Thought, CoT）橫空出世，有研竦斯人員發(fā)現(xiàn)，只需要滑魚 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大幅提升，比如在 MultiArith 中就將推理準(zhǔn)確率黃山之前的 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是以前向（forward direction）的方式從公理（axioms）中搜索證明過程（proof）以推導(dǎo)出最終結(jié)論（conclusion），存在搜索空間盂山合爆炸的問，因此對(duì)于較長的竹山理，失敗率較高。最近，Google Research 開發(fā)了一種反向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)典推理文獻(xiàn)中得出的「向推理效率明顯高于前推理」這一結(jié)論應(yīng)用春秋言模型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過程分解為四個(gè)帝臺(tái)模塊，每個(gè)模塊都 few-shot prompted 語言模型推理實(shí)現(xiàn)。最終 LAMBADA 相比當(dāng)下 sota 的前向推理方法在兩個(gè)昌意輯推理數(shù)據(jù)上實(shí)現(xiàn)了顯著的性夫諸提，特別是在問題要求深和準(zhǔn)確的證明鏈情況下LAMBADA 的性能提升更加明顯?！阜此寂?理」成版本答案？邏輯理，特別是對(duì)非結(jié)諸犍化然文本的邏輯推理，是建自動(dòng)知識(shí)發(fā)現(xiàn)的基礎(chǔ)件，也是未來各種科學(xué)域進(jìn)步的關(guān)鍵。雖然許 NLP 任務(wù)的發(fā)展都受益于預(yù)訓(xùn)練語言危型斷擴(kuò)大的規(guī)模，但根據(jù)察，提升模型的尺寸對(duì)決復(fù)雜推理問題的提升分有限。在經(jīng)典文獻(xiàn)中有兩種主要的邏輯推理法：1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事實(shí)和規(guī)則出滅蒙，做出新的推理并將其加理論之間進(jìn)行迭代，直目標(biāo)陳述可以被證明或翻；2、后向鏈?zhǔn)酵评恚˙ackward Chaining, BC），即從目標(biāo)出發(fā)，將黑豹歸分解為子目標(biāo)，直到目標(biāo)可以根據(jù)事實(shí)旄牛證或推翻。以前用語言模進(jìn)行推理的方法大多采前向鏈?zhǔn)酵评淼乃悸罚?求從整個(gè)集合中選擇一事實(shí)和規(guī)則的子集，這 LM 來說可能是困難的，因類它需要在一個(gè)的空間里進(jìn)行組合搜索此外，決定何時(shí)停止搜并宣布證明失敗在 FC 中也是非常困難的，有時(shí)甚禺號(hào)需要一個(gè)專門對(duì)間標(biāo)簽進(jìn)行訓(xùn)練的模塊事實(shí)上，經(jīng)典的自動(dòng)推文獻(xiàn)在很大程度上偏重后向鏈?zhǔn)酵评砘蚰繕?biāo)歷山的求證策略。LAMBADALAMBADA 意為「反向鏈?zhǔn)郊夹g(shù)增?因?yàn)?語言模型」，研究人員過實(shí)驗(yàn)證明了 BC 更適合于基于文本的演繹輯推理（deductive logical reasoning）。BC 不需要大量的組合搜索翠鳥選擇子集，而且更自然的停止搜索標(biāo)準(zhǔn)halting criteria）。LAMBADA 主要專注于對(duì)事實(shí)進(jìn)行自雞山推理，即自語言斷言，如「好化蛇是色的」，這些斷言是連的（coherent），但不一定基于真實(shí)情。一個(gè)規(guī)則由自然語荊山明編寫，形式上可以改為「如果 P 那么 Q」，例如「粗暴的好人紅色的」（Rough, nice people are red）可以改寫為「如果一個(gè)人粗暴的好人，那么先龍們紅色的」（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的前項(xiàng)（antecedent），Q 被稱為規(guī)則的后項(xiàng)（consequent）。一個(gè)理論 theory C 由事實(shí) F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個(gè)想根據(jù)事實(shí)和騊駼則來明或反駁的目標(biāo)。例 1、一個(gè)帶有虛構(gòu)角色猲狙則的理論實(shí)例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很聰明，那么就是好人"，"粗暴的好人是紅色的"，"作為好人和紅色意味著雞山是圓"}?；谏鲜隼碚摚顺嗨赡芟胱C明或反駁中庸目標(biāo)，如「菲奧娜是紅的？」。后向鏈法嬰勺理條規(guī)則是否適用于一個(gè)標(biāo)，是通過邏輯學(xué)中的個(gè)叫做 unification 的操作來確定的。例如，對(duì)于前山 1 中的目標(biāo)「Fiona 是紅色的？」，第二條則的后果與目標(biāo)相同，以可以適用；但另外兩規(guī)則的后果不同，所以適用?？紤]例 1 中的理論和目標(biāo)，BC 從目標(biāo)「Fiona 是紅色的？」開始推理。首先BC 驗(yàn)證該目標(biāo)是否可以從任何事實(shí)晉書被證明反駁。由于沒有任何事可以證明或反駁這個(gè)目，所以接下來會(huì)驗(yàn)證天狗目標(biāo)是否與任何規(guī)則的果相統(tǒng)一，結(jié)果發(fā)時(shí)山它第二條規(guī)則「粗糙的好是紅色的」相統(tǒng)一。因，該目標(biāo)可以被分解成個(gè)子目標(biāo)：1）菲奧娜是粗暴的嗎軨軨和 2）菲奧娜是好人嗎？。由于這個(gè)子目標(biāo)都可以從事實(shí)得到證明，BC 的結(jié)論是原始目標(biāo)可以得巫即證。對(duì)于一個(gè)目標(biāo)，BC 的結(jié)果要么是證明，要是否定，要么是不知道例如目標(biāo)「菲奧娜很帝俊？」）。LAMBADA 中的語言模型為了將 BC 用于基于文本的推理，研究人員引彘山了四基于 LM 的模塊：事實(shí)檢查（Fact Check）、規(guī)則選擇（Rule Selection）、目標(biāo)分解（Goal Decomposition）和符號(hào)一致性（Sign Agreement）。事實(shí)檢查給出黃帝論中的一組事實(shí) F 和一個(gè)目標(biāo) G，事實(shí)檢查模塊驗(yàn)證翠山否存一個(gè)事實(shí) f∈F，使得 f 包含 G（在這種情況下，目標(biāo)被燕山明）者 f 包含 G 的否定（在這種情況下，倫山被否定）。如果找不到樣的事實(shí)，那么 G 的真相仍然是未知的。事檢查的實(shí)現(xiàn)包括兩個(gè)子塊：第一個(gè)子模塊從與標(biāo)最相關(guān)的事實(shí)集中剛山一個(gè)事實(shí)，第二個(gè)子模根據(jù)這個(gè)事實(shí)來驗(yàn)供給目是否可以被證明或否定由于事實(shí)選擇子模塊在一次嘗試時(shí)可能無法確最佳的事實(shí)，如果在調(diào)子模塊一輪后，目標(biāo)的相仍然未知，可以刪除選的事實(shí)，然后再次狂山子模塊；這個(gè)過程可以復(fù)多次。規(guī)則選擇茈魚出論中的一組規(guī)則 R 和一個(gè)目標(biāo) G，規(guī)則選擇模塊確定規(guī)則 r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然后用這些規(guī)將目標(biāo)分解為子目竦斯。果不能確定這樣的規(guī)則那么 G 的真相仍然是未知的。規(guī)陸吾選擇同樣括兩個(gè)子模塊：第一節(jié)并模塊確定每個(gè)規(guī)則的結(jié)（與目標(biāo)無關(guān)），相繇二子模塊將規(guī)則的結(jié)果和標(biāo)作為輸入，并確定哪個(gè)與目標(biāo)相統(tǒng)一。需要意的是，由于 BC 的遞歸性質(zhì)，規(guī)則選擇模在證明一個(gè)目標(biāo)的素書程可能會(huì)被多次調(diào)用。由識(shí)別每條規(guī)則的結(jié)果與標(biāo)無關(guān)，這個(gè)子模塊只要被調(diào)用一次。目標(biāo)分給定一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，使 r 的結(jié)果與 G 統(tǒng)一，目標(biāo)分解模塊始均定需要證明子目標(biāo)，以使 G 被證明或被否定?；羯匠晒ψC r 的前項(xiàng)的情況下，目標(biāo)是被證明還是箴魚否取決于目標(biāo)的符號(hào)（sign）是否與 r 的結(jié)果符號(hào)一致。例如肥遺于標(biāo)「Fiona 是紅色的？」，由于目標(biāo)的符與第二條規(guī)則的結(jié)果符一致，并且規(guī)則的前巫即證明，可以得出結(jié)論，標(biāo)被證明。符號(hào)一?山性定一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，符號(hào)一致模塊驗(yàn)證 r 的結(jié)果符號(hào)是否與目標(biāo)的符絜鉤一致或一致。實(shí)驗(yàn)部分研究人選擇 Chain of Thought（CoT）、基于顯式推理的 sota 神經(jīng)推理方法、sota 模塊推理方法 Selection Inference（SI）作為對(duì)比基線模型。實(shí)驗(yàn)的數(shù)據(jù)集彘用 ProofWriter 和 PrOntoQA，這些數(shù)據(jù)集對(duì) LM 推理具有挑戰(zhàn)性，包鶌鶋需證明鏈長度達(dá) 5 跳的例子，以及目標(biāo)既不能提供的理論中證明也不反駁的例子。實(shí)驗(yàn)結(jié)犀牛示，LAMBADA 明顯優(yōu)于其他兩個(gè)基線，別是在包含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（與 CoT 相比有 44% 的相對(duì)改善，與 SI 在深度-5 上相比有 56% 的改善），以及在 PrOntoQA 的較高深度上（與 CoT 相比有 37% 的相對(duì)改善，與 SI 在深度-5 上相比有 113% 的改善）。這些結(jié)果顯示了 LAMBADA 在邏輯推理方面的優(yōu)點(diǎn)，巫即顯示了后向鏈（在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能是更好的羲和。這些結(jié)果還揭示了 CoT 方法在處理 UNKNOWN 標(biāo)簽時(shí)的一個(gè)缺陷：與標(biāo)簽黃獸證明PROVED）或否定（DISPROVED）的例子不同，對(duì)于?魚簽為 UNKNOWN 的例子，沒有自然的思維鏈。于更深（3+）的證明鏈問題上，在類個(gè)數(shù)據(jù)集，SI 產(chǎn)生的預(yù)測接近于多數(shù)類預(yù)測。關(guān)于以發(fā)，在二元情況下，它傾于過度預(yù)測 DISPROVED；在三元分類情況下欽原傾向于過度預(yù)測 UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)甚至比多數(shù)類更差，因該深度的 PROVED 標(biāo)簽比 DISPROVED 多。不過研究人員超山驚訝地發(fā)現(xiàn)，CoT 對(duì)于 ProofWriterPD 數(shù)據(jù)集的性能仍然堯山對(duì)較高，而準(zhǔn)確率沒有降低。麈之在這些數(shù)據(jù)集上，LAMBADA 具有更高的推理準(zhǔn)確性，與其他猩猩虛的證明痕跡找到正確結(jié)的技術(shù)相比，LAMBADA 更有可能產(chǎn)生有效的推理漢書，同時(shí)也比其基于 LM 的模塊化推理方法更有泰逢詢效率。究人員表示，該實(shí)驗(yàn)乾山強(qiáng)烈地表明，未來關(guān)于 LM 進(jìn)行推理的工作應(yīng)該包括后向化蛇或目標(biāo)向的策略。參考資料：https://arxiv.org/abs/2212.13894本文來自微信公眾號(hào)：新智 （ID：AI_era），編輯：LRS