2014.10.24 認知科學 (五) Sentence processing

什麼是語言？ (What's language)

• 規律性(pattern)：有些許規律性，如英文字母Q後面可接a,e,i,u，但是不能接p。
• 中文也有類似的概念，如糸或者人多出現在左邊、下面(音符在左)；馬在右(聲符在右)
• 規律性最高如DNA或者音樂，最低如電腦程式。語言的規律性介於二者之間。
• 溝通(communication)：相較於其它方式，語言是較有效率的溝通方式。
• Brain to brain communication：使用EEG的方式接收其中一人的想法，進而編碼後傳遞給TMS，造成另外一個人的手指反應(按下按鈕)
• 此種傳遞方式仍有其限制，因此該研究主持人表示：目前傳達的最理想途徑是文字(word)
• Miscommunication：跨語言，或者語言之內也有無法溝通的狀況
• 牽涉到處理語言歷程上的精確度，無法像電腦程式運作的那麼明確

誰擁有語言？(Who has it?)

• 不同物種內有其自己的溝通模式，但是其溝通模式大多是單一刺激、單一意涵的模式(類似旗語)。而不像是語言，同樣一個詞彙可能有多種意涵。
• 人類的語言可以利用有限的字及文法，創造出無限多種意涵的句子
• 對數個月大的孩子來說，他需要一段時間才能清楚區分自己的名子(例如叫做包子，聽到壩子、袍子、拔等都會有反應，顯示其相關功能尚未成熟)
• From gaga to water：孩子自12個月到18個月發音water的過程

語言的意涵及文法？  

• 一如在學習外國語言時，我們會翻閱外國辭典去了解意涵。但是實際上我們在處理母語時，會是如何運作的呢？

語言會影響大腦或者心理？

• 語言會影響一些思考方式及訊息處理歷程(bias)，但是不會造成限制
• 例如一個種族對顏色的描述僅有暖色系、冷色系及中性色系。研究中顯示他們確實可以區分這些顏色的差異，但是對於顏色變化較不敏感，但是經過訓練後仍可改善。(此外，對於空間、數字概念等等也有類似的現象)
• 當具有多於一個語言時造成的影響？

心理語言學：與其他的心理學一樣，具有實徵工具、理論，以及限制

• 語言學之分支
• 音韻(Phonetic and phonology)
• 語意(sematics)
• 語法
• 構詞(morphology)
• 語用(pragmatics)
• 語言的內容：
• 聲音(sounds)
• 字(words)
• 詞(sentences)
• 句子相關的用詞：
• 詞類：名詞、動詞、形容詞、定冠詞、介係詞等。不同語言大多具有類似的詞類
• 實詞：包含名詞、動詞、形容詞等，具有實際意涵的詞彙。可能持續不斷增加的，如魯蛇、天龍國。
• 功能詞：包含定冠詞、介係詞等，用來連接操弄之用的。可能持續穩定而鮮少變化，例如in, on等鮮少再增加調整。
• 階層性(hierarchical structure)
• The vampire[NP] + loves Boris[VP] ，因此並非字母靠近就有較靠近的關係。
• 文法(phrase structure rules)
• 如英文中的名詞-動詞、定冠詞-名詞。
• 中文也有類似的結構，雖然較為彈性[我吃飯了、飯我吃了]
• 述詞：代表動作與狀態的詞彙，相對於主詞。
• I like to do exercise

認知語言學的課題

• Serial or Parallel processing?
• Serial processing：優先了解聲音、再來了解形象、接著知道意涵，屬ˊ一個階段一個階段的處理。又或者面對同樣一個詞有二種以上的意涵，以逐一理解之。
• Parallel processing：眾多要素的分析與處理是同步處理的。又或者面對同樣一個詞有二種以上的意涵，則二種同時衡量之。
• Bottom up or Top down?
• Bottom up：以刺激為主體，逐步構成語意的理解。
• Top down：由經驗與知識中提取相關的意象，再來逐步確認之。
• 可能與parallel processing有點重疊，但實際上是不同的概念
• Automatic or controlled?
• automatic：若不能使用特殊的方式來處理這些字詞，則代表它是自動化程序，無法被改變。
• controlled：是否可以用特殊的方式處理這些字彙？ 若可，則屬於可控制的方式。
• 應該是一個漸進的歷程，剛開始學習語言的時候屬於controlled，但是在熟悉之後則成為automatic，並且可以同時處理具有多重意涵的文字。
• Modularity？
• 過去認為語言如此特別，以至於有諸多獨特的語言模組
• 近期研究發現，語言處理過程中也包含其它非語言相關的腦區(如motor cortex)。因此，語言和非語言的認知處理分歧可能沒有那麼明確
• 目前對於是否為modularity的存在與否，仍多有爭議

方法學知識

• 測量工具
• 反應時間(reaction time)：通常處理時間越長，代表困難度高，或者處理程序複雜。
• 正確率(acuity)：正確率越低，代表測驗困難度高。
• 眼動(eye movement)：藉由眼動儀追蹤視野注視的位置，圈圈越大代表注視的時間越長，也可能用在網頁瀏覽設計上等的研究。
• 例如研究一次閱讀時可看到幾個字(中文與英文)，將周邊的字以X刪除，並觀察刪除多少字後會影響閱讀，作為每次閱讀最低字數
• 電生理訊號(brain responses) ：例如EEG、MEG、ERP或者fMRI等。
• Event-related potentials(ERP)：在帽子上貼有電極，可收集大腦皮膚電位訊號的變化。比較刺激出現後的腦波變化，並且排除與特定歷程無關的腦波訊號，即為ERP。
• 時間精準度高(millsecond level temporal resolution)
• 多向度測量(multidensional measure)：有較多資訊，可觀察到變項的差異
• amplitude
• polarity
• latency
• distribution
  note：P300, N200的命名，可能是出現的順序，或者出現的時間。但是沒有這麼絕對，也可能受到情境影響，如P300。
• 腦波：大腦內神經細胞的放電訊號總和。加總的前提包含：
1. 神經排列一致性高(open field)：使得電場不至於被相互抵銷，進而可以被偵測
2. 放電時間一致：相同放電時候，使得訊號清楚且明確。 神經訊號有二種傳遞，一種是動作電位，另外一種是突觸後電位(由於作用時間較長則彼此間有較高的重疊機率)，因此，大多接收到的訊息為突觸後電位。
• 血流訊號
• 工具選用：時間解析與空間解析的差異，各有所長，依需求而定
• MRI：測量血流，因此屬於次階的反應，因此時間解析度較差。但是其空間解析度高。
• ERP：空間解析度很差，因此訊號會彼此干擾、排戲。但是其時間解析度高。
• 語句操弄面項(sentence manipulation)
• 文法(grammaticality, violation based)
• 語意(sematic congruency, violation based)
• 預測(expectancy)：這個字詞是否可預期，包含了妥善預期、具有可能性與不太可能想像等差別
• 模糊程度(ambiguity)：語意是否清楚
• 常見的設計(paradigms)
• Priming：使用順序與語意上的相關性，如先接收到水果，再接收到蘋果，如具有相關性，則第二出現者處理速度較快
  note：聽覺與視覺的處理程序：除了基礎的接收差異，基本核心處理相似
• 如刺激中包含單詞具有高模糊度，具有二種以上的意義。 在出現該字眼的同時，螢幕會呈現另外三種詞組(1)與該語詞其中一個意思相關。(2)與該語詞應外一個意思相關。(3)不與該語詞意義相關。 利用受試者的反應速度與處理時間，來判斷其提取訊息的過程。
• Self paced reading
• Raped serial visual persentation (RSVP)：常用在ERP的研究中。
• 例如依不同時間提供單詞，並且藉由排序相關與不相關的單詞，了解受試者腦波反應的變化。最後可能提供一個測驗，如某字是否出現在剛剛的字堆中(作為控制，或者避免睡著之用)
• Visual world paradigm：主要測驗眼睛所注視的地方
• 可能同時呈現四個刺激處，受試者須以滑鼠點選聽到的刺激物。這四個刺激物中，有一個可能與目標具有某種程度的相關(特質)，因此在選取過程中，預期受試者的眼睛在該相關物的時間應較長。
• 用在語意、語音的研究中
• Put the frog that's on the napkin in the box
• 僅有一個青蛙：容易誤解為把青蛙放到餐巾紙上
• 有二個青蛙時：會同時關注二個青蛙，再聚焦在餐巾紙上的青蛙
• 其他任務(族繁不記)

影響語句處理的因素(Factors affecting sentence processing)

• single sentence
• 語意(semantic congrueity)：語句是否通順，影響對其的判讀。
• Kutas and Hillyard(1980)的研究，為了瞭解聽到意料之外的詞彙是否會吃現P300。
• 當時正值information processing盛行的年代，背景知識為當時已知為人遇到不預期的刺激，會出現P300的波
• 結果發現，當時沒有出現P300，但是出現一個N400的波，屬於新發現。最早的認為僅有語意有N400，但後來發現所有跟語意有關，或者可能與語意相關(這有意義，只是我不知道)東西都會出現N400。
• 後續將這個解釋為自動化程序的重要指標。
• 反應語意處理的難度，如果難度高則衝動較強；如果難度較低，則強度較低
• 通順文句的N400較不通順文句的N400小
• 第二次看到的N400較第一次看到的N400小
• 常看到的字較不常看到的字的N400小
• 文具出現的位置也造成影響，如句首的N400較大，句中或者末的N400較小(資訊月來越多：2~3個字最大；4~6個字中等；13個字以上漸減)
• Close probability：close測驗的選擇比例，作為預期測驗出現文字的程度。
• "今天他去釣蝦場釣了很多____"
• 蝦：出現率90%，因此N400不會太大
• 馬子：出現率低，因此N400會爆炸
• Visual and auditory comparison
• 視覺與聽覺都有N400
• 聽覺較沒有這麼尖銳，可能與時間相關
• Summary：
• 每個刺激都有N400
• 重複、相關性等等會影響N400
• 較不受到情境、語意的扭曲影響(如我喝牛奶、牛奶喝了/白馬不是馬)，以及選項的侷限性(例如釣蝦場就是一個高度限制的例子)
• 出現時間一致，少數因素能影響(如老化、疾病以及出現時間)
• 文法：Grammatical deviation即為P600的刺激(LPC)
• 文法錯誤的狀況(受格當主格)，在皮質後方有出現P600，但是在前面沒有。
• 也不同於N400，預期每個刺激都有N400會出現。
• 通常在500ms出現，可持續數百ms。
• 句子較難處理的時候也會出現P600 (the broker persuaded....)，即使沒有明顯問題，但有語意理解上的麻煩也會
• 通常後面會出現"人"： the broker persuaded the man to sell the stock
• the broker persuaded to sell the stock was sent to jail
  note：因此，persuaded可能解釋為動詞或者過去分詞，並且有常用語不常用的差別(前者較容易理解)
• Summary
• 較慢出現
• 句法錯誤
• 難以理解的語句
• multiple sentences
• 時間假設：如有不同子句，傾向認為先講得先發生
• 不符合此假設的時候，需要較多的working memory (明顯且持續的N波變化)
• 因果推論'：子句間的因果明確，則P600較少；如需要推測，則P600明顯
• 視覺系統可分為左右視覺系統，右視野的資訊優先傳達到右邊大腦，數十毫秒後到達左大腦，反之亦然；優先得到資訊的大腦有資訊處理的優勢，時間上較早，資訊清晰度較高(減少傳遞過程中的耗損
• 例如提供一個太空梭即將發射的情境，接下來可預期出現發射"lunch"。結果發現，出現在右視野的字，可較快處理；但是出現在左腦的字，則沒有此現象
• 整體語境的影響(context)：
• Bransford & Johnson (1972)比較有提供title與否對於閱讀的影響。
• 結果發現，對於左腦閱讀的狀況下，有沒有提供沒有差異；對於右腦而言，如提供title可大幅降低閱讀的時間(可整合title與篇章內容)
• Nieuwland, Oteen & Van Berkum (2007)比較語詞指涉對象(reference)以及腦波的關係。結果發現，如果情境可協助限縮到一個對象的時候，可減少腦波對曖昧不明資訊的影響
• 如果出現曖昧模糊的詞彙，則在前額葉的區域出現一個N波，包含他、她等代名詞也是。
  note：視覺與聽覺的刺激，除周邊訊息處理的差異，核心處理相似
  note2：視覺與聽覺接觸不同語言，應再判斷其是否均為domain language，因其造成的影響可能有程度的差異
• Nieuwland & van Berkum(2006)：藉由改變情境，觀察腦波變化。結果發現，情境可以根本的影響他人對於語句的解釋。例如，鹹的花生與戀愛的花生，乍看之下前者較奇怪；但是聽過戀愛花生的童話故事之後，可發現戀愛花生是比較合理的傾向。並且，鹹相較於戀愛引起更強烈的N400，可見情境足以影響他人的判斷。
• van Berkum (2009)：比較基督徒與非基督徒對於安樂死、墮胎、同性戀等等議題的腦波反映。結果發現，他們讀到與自己理念相左的文字時，會有早期的P波以及晚期的N波現象(基督徒聽到可接受的時候出現；正常人在聽到不可接受的時候出現)。顯示自己的價值觀影響對語言的處理。
• individual difference：上述的討論將每個個體的語言處理都視為相同，但實際上有很強烈的特別差異，不僅是母語，也包含第二以上的語言。
• Tanner and van Hell (2014)的比較個體對於文法錯誤的解讀。結果發現，並非所有人都會以標準的文法結構進行判斷，有些人是以這二個詞彙是否相同時間出現進行判斷(非文法的角度)。
• 有些人會出現N400(非文法的角度)；有些人會出現P600(文法的角度)
• 這是在母語的研究，同樣是母語也有不同的判斷標準。大多數的人都是使用文法的方式。
• 這種狀況也會出現在第二外語的學習上，文法與非文法判斷的屬於一半一半。
• 另有研究認為，對於初學者來說較常使用文字間的關係判斷；進階語言使用者則傾向使用文法結構。
• 另外發現，學習動機越高，個體理解的方式會越趨近於母語使用者。
  note：影響個體語言能力的因素繁多，可能與閱讀經驗(充分訓練，可將句子與前後文連接在一起，技巧較差者則會視為分開)、working memory(工作記憶較好的人，較能妥善將語句結合)有關。
  note2：可能尚且有其他因素影響語言應用，例如心像思考、數學能力等等。
  note3：影響語言學習的因素很多，如在青少年之前學習第二外語的效果較好，之後也可以學，但可能有口音、流暢度的差異。
  note4：目前較少使用腦區功能優劣與外語學習能力的關係，大多以動機、學習時間與方法等相關。
• read between the line：閱讀衍伸的意思(metaphors, jokes)
• 言論非常尖銳(文字本無尖銳問題，但具有衍伸的意涵)；或者幽默、玩笑等並非字面上可以直接理解。
• metaphors：許多研究討論此議題，結果傾向熟悉的metaphors與不熟悉的metaphors有不同的處理流程
• 熟悉：人生如河流、選舉如同競賽(將時間與空間進行轉換)
• 不熟悉：政壇的小白兔(不知如何處理)
• 剛開始可能使用字面上的意思處理，因此產生N400及LPC，但後來會重新進行分析，進而了解內容差異
  note：左腦對訊息的處理：快、狠、準；右腦對訊息的處理：慢、停留時間長。因此，看起來右腦對於metaphors的處理較有優勢(對context也較為擅長，因需要時間整合)
  note2：對於玩笑，右腦的作用也比較相關
  note3：讀語言的時候可能有些資訊並非在閱讀者關注的焦點上，進而造成閱讀者無法察覺有問題之處，例如Moses illusion。利用倒裝或者強調的方式，讓這些重要的關鍵資訊放到關注的焦點中，以減少Mosses illusions的問題。
  note4：語言的處理與很多動作經驗相關，並且語言與非語言的語意判讀有高度重疊，並且會重新聯想到動作相關的表現。例如，看到櫻桃對於pinch的動作會較快；對grasp則否。
  note5：處理語言的腦區複雜，是否因其中一個腦區受損，會增加其他腦區的作用？  回顧發現，受損區域周邊的腦區活化程度會較高，可能與其受傷相關；比較受傷區域與另外半腦同區域的關係，結果十分複雜(可能與受損嚴重程度有關)，但是這個活化程度上升未必是幫助，也可能是干擾
  note6：語言學習的練習對於腦區的影響？ 可從controlled process到automatic process切入，除了變成自動處理之外，也可從意象或者文法的應用來判斷。
  note7：

問題討論：

1.第一以及第二語言所牽涉到的認知機制雖然大致相同，但有些許差異。請列出在文獻中找到的第一語言，與第二語言處理時的認知歷程上可能的差異，並論述可能的原因(須註明參考文獻)。

2.請從人類生理機制以及文化討論語言的產生與發展。是文化影響不同的語系的演進，還是腦部結構的不同，造成語言的演化的不同？ (請註明參考文獻)