自然語(yǔ)言理解

自然語(yǔ)言理解

自然語(yǔ)言理解(自然語(yǔ)言理解)

自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。

目錄 簡(jiǎn)介 特征 初始研究 發(fā)展 收縮展開(kāi) 簡(jiǎn)介

Natural Language Understanding 俗稱人機(jī)對(duì)話。人工智能的分支學(xué)科。研究用電子計(jì)算機(jī)模擬人的語(yǔ)言交際過(guò)程，使計(jì)算機(jī)能理解和運(yùn)用人類社會(huì)的自然語(yǔ)言如漢語(yǔ)、英語(yǔ)等，實(shí)現(xiàn)人機(jī)之間的自然語(yǔ)言通信，以代替人的部分腦力勞動(dòng)，包括查詢資料、解答問(wèn)題、摘錄文獻(xiàn)、匯編資料以及一切有關(guān)自然語(yǔ)言信息的加工處理。這在當(dāng)前新技術(shù)革命的浪潮中占有十分重要的地位。研制第 5代計(jì)算機(jī)的主要目標(biāo)之一，就是要使計(jì)算機(jī)具有理解和運(yùn)用自然語(yǔ)言的功能。 自然語(yǔ)言理解是一門新興的邊緣學(xué)科，內(nèi)容涉及語(yǔ)言學(xué)、心理學(xué)、邏輯學(xué)、聲學(xué)、數(shù)學(xué)和計(jì)算機(jī)科學(xué)，而以語(yǔ)言學(xué)為基礎(chǔ)。自然語(yǔ)言理解的研究，綜合應(yīng)用了現(xiàn)代語(yǔ)音學(xué)、音系學(xué)語(yǔ)法學(xué)、語(yǔ)義學(xué)、語(yǔ)用學(xué)的知識(shí)，同時(shí)也向現(xiàn)代語(yǔ)言學(xué)提出了一系列的問(wèn)題和要求。本學(xué)科需要解決的中心問(wèn)題是：語(yǔ)言究竟是怎樣組織起來(lái)傳輸信息的？人又是怎樣從一連串的語(yǔ)言符號(hào)中獲取信息的？ 這一領(lǐng)域的研究將涉及自然語(yǔ)言，即人們?nèi)粘Ｊ褂玫恼Z(yǔ)言，包括中文、英文、俄文、日文、德文、法文等等，所以它與語(yǔ)言學(xué)的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語(yǔ)言處理并不是一般地研究自然語(yǔ)言，而在于研制能有效地實(shí)現(xiàn)自然語(yǔ)言通信的計(jì)算機(jī)系統(tǒng)，特別是其中的軟件系統(tǒng)。因而它是計(jì)算機(jī)科學(xué)的一部分。

特征

語(yǔ)言是人類區(qū)別其他動(dòng)物的本質(zhì)特性。在所有生物中，只有人類才具有語(yǔ)言能力。人類的多種智能都與語(yǔ)言有著密切的關(guān)系。人類的邏輯思維以語(yǔ)言為形式，人類的絕大部分知識(shí)也是以語(yǔ)言文字的形式記載和流傳下來(lái)的。因而，它也是人工智能的一個(gè)重要，甚至核心部分。 用自然語(yǔ)言與計(jì)算機(jī)進(jìn)行通信，這是人們長(zhǎng)期以來(lái)所追求的。因?yàn)樗�既有明顯的實(shí)際意義，同時(shí)也有重要的理論意義：人們可以用自己最習(xí)慣的語(yǔ)言來(lái)使用計(jì)算機(jī)，而無(wú)需再花大量的時(shí)間和精力去學(xué)習(xí)不很自然和習(xí)慣的各種計(jì)算機(jī)語(yǔ)言；人們也可通過(guò)它進(jìn)一步了解人類的語(yǔ)言能力和智能的機(jī)制。 實(shí)現(xiàn)人機(jī)間自然語(yǔ)言通信意味著要使計(jì)算機(jī)既能理解自然語(yǔ)言文本的意義，也能以自然語(yǔ)言文本來(lái)表達(dá)給定的意圖、思想等。前者稱為自然語(yǔ)言理解，后者稱為自然語(yǔ)言生成。因此，自然語(yǔ)言處理大體包括了自然語(yǔ)言理解和自然語(yǔ)言生成兩個(gè)部分。歷史上對(duì)自然語(yǔ)言理解研究得較多，而對(duì)自然語(yǔ)言生成研究得較少。但這種狀況近年來(lái)已有所改變。 無(wú)論實(shí)現(xiàn)自然語(yǔ)言理解，還是自然語(yǔ)言生成，都遠(yuǎn)不如人們?cè)瓉?lái)想象的那么簡(jiǎn)單，而是十分困難的。從目前的理論和技術(shù)現(xiàn)狀看，通用的、高質(zhì)量的自然語(yǔ)言處理系統(tǒng)，仍然是較長(zhǎng)期的努力目標(biāo)，但是針對(duì)一定應(yīng)用，具有相當(dāng)自然語(yǔ)言處理能力的實(shí)用系統(tǒng)已經(jīng)出現(xiàn)，有些已商品化，甚至開(kāi)始產(chǎn)業(yè)化。典型的例子有：種數(shù)據(jù)庫(kù)和專家系統(tǒng)的自然語(yǔ)言接口、各種機(jī)器翻譯系統(tǒng)、全文信息檢索系統(tǒng)、自動(dòng)文摘系統(tǒng)等。 自然語(yǔ)言處理，即實(shí)現(xiàn)人機(jī)間自然語(yǔ)言通信，或?qū)崿F(xiàn)自然語(yǔ)言理解和自然語(yǔ)言生成是十分困難的。造成困難的根本原因是自然語(yǔ)言文本和對(duì)話的各個(gè)層次上廣泛存在的各種各樣的歧義性或多義性（ambiguity）。 一個(gè)中文文本從形式上看是由漢字（包括標(biāo)點(diǎn)符號(hào)等）組成的一個(gè)字符串。由字可組成詞，由詞可組成詞組，由詞組可組成句子，進(jìn)而由一些句子組成段、節(jié)、章、篇。無(wú)論在上述的`各種層次：字（符）、詞、詞組、句子、段，……還是在下一層次向上一層次轉(zhuǎn)變中都存在著歧義和多義現(xiàn)象，即形式上一樣的一段字符串，在不同的場(chǎng)景或不同的語(yǔ)境下，可以理解成不同的詞串、詞組串等，并有不同的意義。一般情況下，它們中的大多數(shù)都是可以根據(jù)相應(yīng)的語(yǔ)境和場(chǎng)景的規(guī)定而得到解決的。也就是說(shuō)，從總體上說(shuō)，并不存在歧義。這也就是我們平時(shí)并不感到自然語(yǔ)言歧義，和能用自然語(yǔ)言進(jìn)行正確交流的原因。但是一方面，我們也看到，為了消解歧義，是需要極其大量的知識(shí)和進(jìn)行推理的。如何將這些知識(shí)較完整地加以收集和整理出來(lái)；又如何找到合適的形式，將它們存入計(jì)算機(jī)系統(tǒng)中去；以及如何有效地利用它們來(lái)消除歧義，都是工作量極大且十分困難的工作。這不是少數(shù)人短時(shí)期內(nèi)可以完成的，還有待長(zhǎng)期的、系統(tǒng)的工作。 以上說(shuō)的是，一個(gè)中文文本或一個(gè)漢字（含標(biāo)點(diǎn)符號(hào)等）串可能有多個(gè)含義。它是自然語(yǔ)言理解中的主要困難和障礙。反過(guò)來(lái)，一個(gè)相同或相近的意義同樣可以用多個(gè)中文文本或多個(gè)漢字串來(lái)表示。 因此，自然語(yǔ)言的形式（字符串）與其意義之間是一種多對(duì)多的關(guān)系。其實(shí)這也正是自然語(yǔ)言的魅力所在。但從計(jì)算機(jī)處理的角度看，我們必須消除歧義，而且有人認(rèn)為它正是自然語(yǔ)言理解中的中心問(wèn)題，即要把帶有潛在歧義的自然語(yǔ)言輸入轉(zhuǎn)換成某種無(wú)歧義的計(jì)算機(jī)內(nèi)部表示。 歧義現(xiàn)象的廣泛存在使得消除它們需要大量的知識(shí)和推理，這就給基于語(yǔ)言學(xué)的方法、基于知識(shí)的方法帶來(lái)了巨大的困難，因而以這些方法為主流的自然語(yǔ)言處理研究幾十年來(lái)一方面在理論和方法方面取得了很多成就，但在能處理大規(guī)模真實(shí)文本的系統(tǒng)研制方面，成績(jī)并不顯著。研制的一些系統(tǒng)大多數(shù)是小規(guī)模的、研究性的演示系統(tǒng)。

初始研究

自然語(yǔ)言理解從 20世紀(jì) 60年代初開(kāi)始研究，由于 N.喬姆斯基在語(yǔ)言學(xué)理論上的突破和此后各家理論的發(fā)展，以及計(jì)算機(jī)功能的不斷提高，目前已經(jīng)取得了一定的成果，分為語(yǔ)音理解和書面理解兩個(gè)方面。 語(yǔ)音理解 用口語(yǔ)語(yǔ)音輸入，使計(jì)算機(jī)"聽(tīng)懂"語(yǔ)音信號(hào)，用文字或語(yǔ)音合成輸出應(yīng)答。方法是先在計(jì)算機(jī)里貯存某些單詞的聲學(xué)模式，用它來(lái)匹配輸入的語(yǔ)音信號(hào)，稱為語(yǔ)音識(shí)別。這只是一個(gè)初步的基礎(chǔ)，還不能達(dá)到語(yǔ)音理解的目的。因?yàn)閱螒{聲學(xué)模式無(wú)法辨認(rèn)人和人之間、同一個(gè)人先后發(fā)音之間的語(yǔ)音差別，也無(wú)法辯認(rèn)連續(xù)語(yǔ)流中的語(yǔ)音變化;必須綜合應(yīng)用語(yǔ)言學(xué)知識(shí),以切分音節(jié)和單詞，分析句法和語(yǔ)義，才能理解內(nèi)容，獲取信息。

發(fā)展

60年代至70年代初期，研究工作一直停留在單詞的語(yǔ)音識(shí)別上，進(jìn)展不大。直到70年代中期才有所突破，建立了一些實(shí)驗(yàn)系統(tǒng),能夠理解連續(xù)語(yǔ)音的內(nèi)容,但是還限于少數(shù)簡(jiǎn)單的語(yǔ)句（見(jiàn)自然語(yǔ)言語(yǔ)音理解系統(tǒng)）。 書面理解 用文字輸入，使計(jì)算機(jī)"看懂"文字符號(hào)，也用文字輸出應(yīng)答。這方面的進(jìn)展較快，70年代初期取得突破，中期以后又有所發(fā)展。目前已能在一定的詞匯、句型和主題范圍內(nèi)查詢資料，解答問(wèn)題，閱讀故事，解釋語(yǔ)句等，有的系統(tǒng)已付諸應(yīng)用。 由于絕大多數(shù)語(yǔ)種使用的是拼音文字，計(jì)算機(jī)識(shí)別拼音字母已無(wú)問(wèn)題，而輸入又是按單詞分別拼寫，因此書面理解一般沒(méi)有切分音節(jié)和單詞的問(wèn)題，只需直接分析詞匯、句法和語(yǔ)義。但是漢語(yǔ)用的是漢字，無(wú)論是用漢字編碼輸入還是將來(lái)計(jì)算機(jī)能直接認(rèn)識(shí)漢字，都要首先解決切分單詞的問(wèn)題，因?yàn)檩斎刖褪且贿B串漢字，詞和詞之間沒(méi)有空隔。 書面理解的基本方法是：在計(jì)算機(jī)里貯存一定的詞匯、句法規(guī)則、語(yǔ)義規(guī)則、推理規(guī)則和主題知識(shí)。語(yǔ)句輸入后，計(jì)算機(jī)自左至右逐詞掃描，根據(jù)詞典辨認(rèn)每個(gè)單詞的詞義和用法；根據(jù)句法規(guī)則確定短語(yǔ)和句子的組合;根據(jù)語(yǔ)義規(guī)則和推理規(guī)則獲取輸入句的含義;查詢知識(shí)庫(kù)，根據(jù)主題知識(shí)和語(yǔ)句生成規(guī)則組織應(yīng)答輸出。目前已建成的書面理解系統(tǒng)應(yīng)用了各種不同的語(yǔ)法理論和分析方法，如生成語(yǔ)法、系統(tǒng)語(yǔ)法、格語(yǔ)法、語(yǔ)義語(yǔ)法等等，都取得了一定的成效。

【自然語(yǔ)言理解】相關(guān)文章：

自然語(yǔ)言理解中的回指解析研究概述04-30

自然語(yǔ)言處理中的概率語(yǔ)法04-28

理解“理解”作文12-15

現(xiàn)代自然語(yǔ)言邏輯研究的若干路徑05-02

信息時(shí)代的自然語(yǔ)言邏輯研究特色05-01

移動(dòng)GIS中語(yǔ)音與自然語(yǔ)言的應(yīng)用模式探討05-02

基于提高自然語(yǔ)言文本水印嵌入量的算法05-02

自然語(yǔ)言中選言肢相容與否的判定問(wèn)題05-02

理解04-28

理解11-08