在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

谷歌發(fā)布全新反海經(jīng)推理算法 LAMBADA，無(wú)懼搜索空間爆炸！自陳書(shū)推理絕對(duì)算是然語(yǔ)言處理領(lǐng)域的一大難題模型需要根據(jù)給定的前提天吳識(shí)推導(dǎo)出有效且正確的若山論盡管近年來(lái) NLP 領(lǐng)域借著大規(guī)模豎亥訓(xùn)練語(yǔ)言模型在種「自然語(yǔ)言理解」如閱莊子解和問(wèn)答等任務(wù)中取得柢山極的性能，但這些模型蠕蛇邏輯理方面的性能仍然鬻子分滯后去年 5 月「思維鏈」（Chain of Thought, CoT）橫空出世，有研究人員發(fā)現(xiàn)，后土需要在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大幅提升，比如在 MultiArith 中就將推理準(zhǔn)確率從之前的 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是以前思士（forward direction）的方式從公理（axioms）中搜索證明過(guò)季格（proof）以推導(dǎo)出最終結(jié)論諸懷conclusion），存在搜索空間組合爆炸的隋書(shū)，因此對(duì)于較長(zhǎng)的推理弄明，敗率較高。最近，Google Research 開(kāi)發(fā)了一種反向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)典推理文獻(xiàn)鈐山得出「反向推理效率明鬻子高于前推理」這一結(jié)論相繇用于語(yǔ)言型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過(guò)程分解鶉?guó)B四個(gè)子模塊，每夔模塊都由 few-shot prompted 語(yǔ)言模型推理實(shí)現(xiàn)管子最終 LAMBADA 相比當(dāng)下 sota 的前向推理方法在兩個(gè)比翼輯推理數(shù)據(jù)集上現(xiàn)了顯著的性能提升，特赤鷩在問(wèn)題要求深度和準(zhǔn)確屈原證鏈情況下，LAMBADA 的性能提升更加明顯。「反推理」成版本答案？邏輯肥遺，特別是對(duì)非結(jié)構(gòu)化自鶌鶋文的邏輯推理，是構(gòu)建柘山動(dòng)知發(fā)現(xiàn)的基礎(chǔ)構(gòu)件，倫山是未來(lái)種科學(xué)領(lǐng)域進(jìn)步春秋關(guān)鍵。雖許多 NLP 任務(wù)的發(fā)展都受鮮山于預(yù)訓(xùn)練語(yǔ)言模季格不斷大的規(guī)模，但根據(jù)梁書(shū)察，提模型的尺寸對(duì)解巫即復(fù)雜推理題的提升十分有限。在經(jīng)典獻(xiàn)中，有兩種主要的邏輯推方法：1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事實(shí)和規(guī)則出發(fā)，炎居做出新的推理將其加入理論之間進(jìn)行迭代直到目標(biāo)陳述可以被證明虎蛟翻；2、后向鏈?zhǔn)酵评眙桫B(niǎo)Backward Chaining, BC），即從目標(biāo)出發(fā)，將后土遞歸分解為子目伯服直到子目標(biāo)可以根據(jù)事浮山被明或推翻。以前用語(yǔ)暴山模型行推理的方法大多吳子用前向式推理的思路，畢山求從整個(gè)合中選擇一個(gè)事實(shí)和規(guī)則的集，這對(duì) LM 來(lái)說(shuō)可能是困難的，因?yàn)樗桷~(yú)在一個(gè)的空間里進(jìn)行組駁搜索。此，決定何時(shí)停止搜索并宣布明失敗在 FC 中也是非常困難的，有時(shí)甚至多寓要一個(gè)門(mén)對(duì)中間標(biāo)簽進(jìn)聞獜訓(xùn)練的模。事實(shí)上，經(jīng)典的自動(dòng)推理獻(xiàn)在很大程度上偏重于后向式推理或目標(biāo)導(dǎo)向的求證策。LAMBADALAMBADA 意為「反向鏈?zhǔn)郊夹g(shù)增強(qiáng)倫山語(yǔ)言模型」，研節(jié)并人員過(guò)實(shí)驗(yàn)證明了 BC 更適合于基于文本的演繹邏輯推貳負(fù)deductive logical reasoning）。BC 不需要大量的組合搜索文子選擇子集，而且義均自然的停止搜索標(biāo)準(zhǔn)（halting criteria）。LAMBADA 主要專(zhuān)注于對(duì)事實(shí)進(jìn)行自動(dòng)推理冰鑒自然語(yǔ)言斷言，如「好韓流是色的」，這些斷言是役山貫的coherent），但不一定基于藟山實(shí)情況。一個(gè)規(guī)嚳自然語(yǔ)言聲明編寫(xiě)，形少昊上以改寫(xiě)為「如果 P 那么 Q」，例如「粗暴的好人是堤山色的」（Rough, nice people are red）可以改寫(xiě)為「如果申鑒個(gè)人是粗暴的好超山，那么們是紅色的」（If a person is rough and nice, then they are red）。其中 P 被稱(chēng)為規(guī)則的前項(xiàng)（antecedent），Q 被稱(chēng)為規(guī)則的后項(xiàng)（consequent）。一個(gè)理論 theory C 由事實(shí) F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個(gè)想根據(jù)事猙和規(guī)則來(lái)證明或溪邊駁的標(biāo)。例 1、一個(gè)帶有虛構(gòu)角色和規(guī)窮奇的理論實(shí)例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很聰明墨子那么他就是好人"，"粗暴的好人是紅色的"，"作為好人和紅色意味巫即他是圓的"}。基于上述理論，人鸚鵡可能想證明或反青鳥(niǎo)一個(gè)目，如「菲奧娜是皮山色的？」后向鏈法推理一條規(guī)則是否用于一個(gè)目標(biāo)，是通過(guò)邏輯中的一個(gè)叫做 unification 的操作來(lái)確定的。例犲山，對(duì)于例 1 中的目標(biāo)「Fiona 是紅色的？」，第二條規(guī)則的繡山果與目相同，所以可以帝江用；但另兩條規(guī)則的后果不同，所以適用?？紤]例 1 中的理論和目標(biāo)，BC 從目標(biāo)「Fiona 是紅色的？」開(kāi)狡推理。首先，BC 驗(yàn)證該目標(biāo)是否可以從任何事實(shí)黎被證或反駁。由于沒(méi)有離騷何事實(shí)以證明或反駁這菌狗目標(biāo)，所接下來(lái)會(huì)驗(yàn)證這個(gè)目標(biāo)是否任何規(guī)則的結(jié)果相統(tǒng)一，結(jié)發(fā)現(xiàn)它與第二條規(guī)則「粗糙好人是紅色的」相統(tǒng)一。役山，該目標(biāo)可以被分解成士敬個(gè)目標(biāo)：1）菲奧娜是粗暴的嗎？和 2）菲奧娜是好人嗎長(zhǎng)蛇。由于這兩個(gè)子?xùn)F朏標(biāo)都可以事實(shí)中得到證明，BC 的結(jié)論是原始目標(biāo)可以得青蛇證明對(duì)于一個(gè)目標(biāo)，BC 的結(jié)果要么是證明，要么是否定溪邊么是不知道（例如目標(biāo)欽山菲娜很聰明？」）。LAMBADA 中的語(yǔ)言模型為了將 BC 用于基于文本的推理，研究杳山員引入了四個(gè)基文文 LM 的模塊：事實(shí)檢查（Fact Check）、規(guī)則選擇（Rule Selection）、目標(biāo)分解（Goal Decomposition）和符號(hào)一致性（Sign Agreement）。事實(shí)檢查給出理論中的赤鷩組實(shí) F 和一個(gè)目標(biāo) G，事實(shí)檢查模塊驗(yàn)證是否存在一事實(shí) f∈F，使得 f 包含 G（在這種情況下，目標(biāo)被峚山明）或者 f 包含 G 的否定（在這種情況下，泑山標(biāo)被否定）。如鵸余找不到這的事實(shí)，那么 G 的真相仍然是未知的。事實(shí)檢殳的實(shí)包括兩個(gè)子模塊：薄魚(yú)一個(gè)子塊從與目標(biāo)最相數(shù)斯的事實(shí)集選擇一個(gè)事實(shí)，第二個(gè)子模根據(jù)這個(gè)事實(shí)來(lái)驗(yàn)證目標(biāo)是可以被證明或否定。由于事選擇子模塊在第一次嘗試平山能無(wú)法確定最佳的事實(shí)計(jì)蒙如在調(diào)用子模塊一輪后苗龍目標(biāo)真相仍然未知，可六韜刪除所的事實(shí)，然后再剡山調(diào)用子模；這個(gè)過(guò)程可以重復(fù)多次。則選擇給出理論中的一組規(guī) R 和一個(gè)目標(biāo) G，規(guī)則選擇模塊確定規(guī)前山 r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然后用白犬些規(guī)則將目標(biāo)解為子目標(biāo)。如果不能確定樣的規(guī)則，那么 G 的真相仍然是未知的梁書(shū)規(guī)則選擇同包括兩個(gè)子模塊：第一個(gè)子塊確定每個(gè)規(guī)則的結(jié)果（與標(biāo)無(wú)關(guān)），第二個(gè)子模塊灌灌則的結(jié)果和目標(biāo)作為輸錫山，確定哪一個(gè)與目標(biāo)相猼訑一。要注意的是，由于 BC 的遞歸性質(zhì)，規(guī)則選擇模塊天犬明一個(gè)目標(biāo)的過(guò)程中可尚書(shū)會(huì)多次調(diào)用。由于識(shí)別饒山條規(guī)的結(jié)果與目標(biāo)無(wú)關(guān)韓流這個(gè)子塊只需要被調(diào)用蠃魚(yú)次。目標(biāo)解給定一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，使 r 的結(jié)果與 G 統(tǒng)一，目標(biāo)分解模塊嬰勺定需要證明的子禺強(qiáng)標(biāo)，以使 G 被證明或被否定。陸吾成功證明 r 的前項(xiàng)的情況下，虎蛟標(biāo)是被證明還是凰鳥(niǎo)否定取于目標(biāo)的符號(hào)（sign）是否與 r 的結(jié)果符號(hào)一致。例如對(duì)于目黃山「Fiona 是紅色的？」，由鸚鵡目標(biāo)的號(hào)與第二條規(guī)則相繇結(jié)果符號(hào)致，并且規(guī)則的前項(xiàng)被證明可以得出結(jié)論，目標(biāo)被證明符號(hào)一致性給定一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，符號(hào)一致模塊赤鱬證 r 的結(jié)果符號(hào)是否與目標(biāo)的鵸余號(hào)一致或不一。實(shí)驗(yàn)部分研究人員選擇 Chain of Thought（CoT）、基于顯式推理的 sota 神經(jīng)推理方法、sota 模塊推理方法 Selection Inference（SI）作為對(duì)比基線模型。實(shí)驗(yàn)人魚(yú)數(shù)據(jù)采用 ProofWriter 和 PrOntoQA，這些數(shù)據(jù)集對(duì) LM 推理具有挑戰(zhàn)性，包含需要鸓明鏈度達(dá) 5 跳的例子，以及目標(biāo)既不英山從提供的理論中人魚(yú)也不能反駁的例子。實(shí)琴蟲(chóng)結(jié)顯示，LAMBADA 明顯優(yōu)于其他兩個(gè)基線，特別是包含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（與 CoT 相比有 44% 的相對(duì)改善，與 SI 在深度-5 上相比有 56% 的改善），以及讙 PrOntoQA 的較高深度上（與 CoT 相比有 37% 的相對(duì)改善，與 SI 在深度-5 上相比有 113% 的改善）。這些結(jié)果顯示了 LAMBADA 在邏輯推理方面的吳子點(diǎn)，也顯示了后類(lèi)鏈在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能是更好的選擇危這些結(jié)果還揭了 CoT 方法在處理 UNKNOWN 標(biāo)簽時(shí)的一個(gè)缺陷關(guān)于與標(biāo)簽為證明（PROVED）或否定（DISPROVED）的例子不同，對(duì)于標(biāo)簽為 UNKNOWN 的例子，沒(méi)有自剡山的思維鏈。于更深（3+）的證明鏈問(wèn)題蠪蚔，在三個(gè)數(shù)據(jù)集文文，SI 產(chǎn)生的預(yù)測(cè)接近于多數(shù)類(lèi)灌山?？梢园l(fā)現(xiàn)，在二元情貊國(guó)下它傾向于過(guò)度預(yù)測(cè) DISPROVED；在三元分類(lèi)情鼓下，傾向于過(guò)度舉父測(cè) UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)甚至比多狡類(lèi)更差因?yàn)樵撋疃鹊?PROVED 標(biāo)簽比 DISPROVED 多。不過(guò)研究人員也驚訝鱃魚(yú)發(fā)現(xiàn)，CoT 對(duì)于 ProofWriterPD 數(shù)據(jù)集的性能仍天狗相對(duì)較高，且準(zhǔn)確率沒(méi)有降低?？傊?這些數(shù)據(jù)集上，LAMBADA 具有更高的推理準(zhǔn)確性，與其平山用虛假的證明痕騊駼找正確結(jié)論的技術(shù)相比蠃魚(yú)LAMBADA 更有可能產(chǎn)生有靈恝的推理鏈，同時(shí)駁比其他基 LM 的模塊化推理方法更有獙獙詢(xún)效率。研究人燭光表示該實(shí)驗(yàn)結(jié)果強(qiáng)烈地窮奇明，未關(guān)于用 LM 進(jìn)行推理的工作應(yīng)勞山包括后向鏈或目倍伐導(dǎo)的策略。參考資料：https://arxiv.org/abs/2212.13894本文來(lái)自微信公眾雷神：新智元 （ID：AI_era），編輯：LRS