2014.10.03 認知科學 (三) 聲音 & 音樂知覺

聲音(sounds)

• 聲音為一個表面的震動，造成氣體分子的震盪，引起氣壓的微小改變，因而產生波動
• 除了耳朵之外，胸腔與手指尖端(之震盪感受)，也可使個體感覺到聲音波動
• 聲音的基本要素
• 震幅(amplitude)
• 頻率(frequency)
• 說話的時候，聲帶振動大約是120Hz左右
• 週期(period)
• 心理物理學(psychophysics)：物理量與主觀感受間的關係
• 八度等價(Octave equivalence)：如果二個音頻率比為1:2(相差八度)，則其聽起來的感受十分相似
• 在音樂中，最重要的簡單小數比為1:2；其次為2:3
• 普遍存在人類文化中(其他物種幾乎沒有此現象)
• 可能將無限長的音高軸濃縮成有限範圍的"八度"，而超過的範圍可能由有限範圍類推
• 八度等價也許與合唱相關(需要在相同的旋律上)
• 但是這只存在音樂中，但不在語言中
• Weber-Fechner's Law (S = k * log I)
• 從取log的方程式中可見，其重點為比值關係
• 聲音的頻譜分析(spectral component)：將複雜的聲音分解為簡單的諧音，不在此範圍內的聲音則歸屬於雜質(雜質豐富的音樂其頻譜看起來混淆)
• 正弦波(tone) & 子音(noise)
• 母音：由許多tone所疊加而來，而各tone之間的頻率呈現整數比
• 子音
• 音色： 去除高頻諧音，則可使音色由明轉暗
• 明亮 & 黯淡
  note：明亮的聲音會活化警醒程度，此可能代表聲源十分靠近自己，也因此需要較高的警醒度以做出反應，此也與較原始的brain stem作用相關；反之，如果聲源遠，則高頻聲音容易在過程中流失。
  note2： primary auditory cortex為sound perception的主體，其它皮質則為輔助。其中聲音的perception與cognition通常難以區分，這也可能與top-down or bottom-up approach相關：如使用聲調語音(tone language)者，對於揚平聲的中段最為敏感。
  note3：為什麼有些人可以接受刮黑板，但有些人則無法？ 也許腦幹有低些反射迴路，且可能被額葉抑制？ 目前尚未有明確解釋
• Phase-locking
• 有些神經元的放電與其聲音的波峰相關
• 如果將大量神經元的活化加總疊加，可還原原始聲音刺激之波形(只限於低階區域的神經元
• Frequency-following responses(FFRs)
• 腦幹可以測到與聲音波形相似的腦波
• 在直接開顱的研究中，將腦波經轉換可還原為原始聲波，唯高頻波均混淆(如同在水中聽音一般)
• 可能與天賦或者訓練結果相關
• 自聽到聲音到腦波產生的時間稱為反應時間
• 專家的反應時間小，其腦波幾乎可以完整呈現波型
• 非專家的反應時間長，可能僅有部分或者尾端符合原始波型
  note：此可能與top-down 作用的調諧功能相關
  note2：藉外國人說中文的型態，可能顯示top-down作用上的重要性
• 神經表徵(neuron representation)：是否代表訊號已經讓神經細胞轉換為另外一種傳導形式？
• 至今沒有統一定論，但可能是一群神經細胞不同層次放電的總和結果
• 母組細胞掰
• 音高捲尺
• 在低階處理區，具有對特定頻率之對應之鍵盤(?

音樂認知

• 音樂認知與一般聲音不同之處，在於其「音階基模」及「節拍基模」，因此可以構築音樂的抽象型態。

Outline

• Pitch perception in music：音階基模
• frequency resolution
• relative pitch
• Beat and meter(拍節) in music：拍節基模
• Movement synchronization on musical beats
• Patterned motor activity (走路與音樂拍節相似)
• Schema shifts (基模變換)in popular songs
  note：基摸變換使人警醒度上升而容易注意

測不準原理 (右腦對於頻率解析度較佳；左腦對於時間解析度較佳)

• 工具問題
• 舉凡波棟分析，頻率解析度與時間解析度無法兼顧：一個好，例外一個則差
• 以聲波而言，聆聽的時間不能太短，否則無法區分出其音高(至少接收足夠長的時間方能有意義)

時窗的長度

• 左腦：20~50ms, 12~50Hz
• 右腦：150~300ms, 3~7Hz
• 在說話的時候，需對時間解析度的要求，否則將會造成子音(ㄅ、ㄆ)混淆不

音樂旋律 & 音樂節奏

• 音樂旋律>音樂節奏 (右腦偏前處)：研究顯示是旋律核心處
• 音樂節奏>音樂旋律：較為複雜，略

音樂特性

• 狹義而言，至少具備音階或者節拍其中一者
• RAP：有節拍沒有音階
• RAP與Speech的差異
• RAP時Basal ganglia活化程度較高(生物節拍器)
• Q：失語症個案的復健
• 讓失語症患者唱歌是常見的復健方式
• 一種代償策略為，將常需要使用的溝通詞彙編成旋律
• Q：世界上並存音樂天才與白痴，這是來自於nature或者nurture？
• genotype + environment + random variation => phenotype
• 有些音樂活動是由少數天才(如巫師)帶領群眾一起進行，和語言不同
• 音樂活動的特性之一，是可以在群眾中混水摸魚(?!
• 相較之下語言活動則較沒有著重於群體的對應概念
• 可能與語言相較於音樂是演化存活的必要性相關

音程：二個音高之間的關係

• 音程的大小影響情緒
• 一個聽音程而產生味覺共感的個案研究
• 魔鬼音程：純四度
• 完全八度：沒有味覺

二重唱

• 人類的二重唱：講究音程的和諧(時而可聽，時而消失)
• 鳥類和長臂猿
• 無法唱出和諧聲音
• 夫妻二重唱講究輪唱的緊密配合
• 對其他動武來說，音程的概念可能超過其接受範圍

音階：由數個音程所疊加而來

• 世界上的各民族使用不同的音階系統，這些音階系統由幾個音程(musical interval)堆疊而來，具有一個"主音"
• 可在鋼琴上彈奏出來
• 動物歌曲及人類的交談也沒有音階
• 音樂中的音高需要符合音階基模，才能夠被表徵為音名(pitch name)
• 舉凡人類使用的音階，需疏落有秩方能區辨差異
• 音名如do re mi
• template matching
• 腦中有模板(template)
• 聽音樂的過程是試圖將收到的資訊塞入腦中的template，如成功則可唱出重現
• 音高的表徵(representation)主要有二種：
• 音名
• 空間的高低位置：很少用在語言的認知
• 似原住民使用空間概念來解讀音高(pitch)
• 世界各處的民族多使用"高低"來描述音高

音感：

• 絕對音感：在沒有提示音的前提下，聽者可直接判斷其為鋼琴上的哪一個鍵
• 與音樂能力沒有絕對關係，如歷史上的作曲者多數沒有絕對音感
• 只處理單一頻率對應到哪個音名之能力
• 任何條音器均具有絕對音感，市價約600元(www
• 相對音感對電腦而言仍屬困湳
• 相對音感：相對音感須能處理到音程及音階、和弦，或者和弦建構之和聲進行。
• 和空間感覺相關
• 相對音感極差的人，難以辨認細微的音高差異，這些人心向旋轉(mental rotation)的能力也比一般人差
• 是決定音樂才華的基礎功能
• Q：音癡聆聽音樂時，其右腦的gamma波較弱，顯示其右腦聽覺皮質不與其他腦區(如inferior frontal cortex)來往。有些絕對音感也是這樣，因局部連結太強，而遠距連結較弱。(絕對音感的音癡)
• 音樂班中的絕對音感：造成見樹不見林的狀況
• 此神經連結系統，可能與autism的作用相關，往往具有特質專才，但其他能力偏弱
• 頻率解析度不是看Hz，而是看頻率取log之後的數值。因此，低音頻需要較長時間
• 慣用左手者的腦側化現象不明顯
• Q：自己的音感自己救？
• 藉由移調的方式，搭配流行音樂練習(?
• 絕對音感的固著，有如只能從一個角度辨認東西
• Q：絕對音感的大腦結構差異？
• 絕對音感的養成：在第八對染色體有些變異，並且在關鍵期(3~6歲)接受訓練。如超過關鍵期，這輩子就無望囉
• 音癡不會唱歌：如同唱歌走音自己也不知道的毛病，屬於相對音感不良；由於這種區辨pitch需要很大的心智功能，因而造成個體無法在唱歌中發現自己的問題(因此唱爽爽)。但可藉由訓練改善之
• Tinbergen's four questions切入問題「為什麼有人有絕對音感？ 有些人有相對音感？」
• 功能：語言及音樂的認知建立於相對音感之上，但只有少數的音樂演奏者具有絕對音感(僅在少數的樂曲上)
• 因此，演化上相對音感較為重要
• 演化上何時出現？許多songbird仰賴絕對音感；僅有鯨豚類似乎有相對音感
• 因相對音感需要較複雜的運算
• 生理基礎？
• 絕對音感的superior temporal regions彼此緊密相連
• 相對音感需要intraparietal sulcus(mental rotation)及inferiro frontal cortex(working memory)相關
• 個體發展？
• 12歲之前是訓練絕對音感的關鍵期
• Q：音癡的腦區和一般人有沒有不同？
• 是，目前的研究結果為音癡聽旋律時不太使用額葉(聽覺區封閉發展，而不與其他腦區交流，可能造成見樹不見林的問題)

拍子 & 拍節    繪畫在空間中開展，音樂在時間中進行

• 時間的進行本綿延不斷，但我們為求方便，因此切割成等長的時間單位，稱為拍子(beat)
• 拍子的進行有不同的特性(二拍一組，三拍一組，四拍一組)，這種拍子進行的特性稱為拍節(meter)
• 如唸出身分證字號、手機的分段方式(每個集組約為3~4個)
• chunking (集組)
• 在音樂中有刻度，並且關鍵依序為：小節的第一拍、正中間、四分之一處等

音樂中的時間處理

• 音樂中的時間處理，均為動作區所管理
• 演奏或聆聽者，多在關鍵節拍上產生動作，無論是拍手、踏腳，這是聞聲起舞的表現
• 海獅、鯨豚類可以計算節拍
• 海豚可以一起跳出水面(計算節拍
• 黑猩猩可能無法(高等靈長類？
• 人類嬰兒(all four)的前後搖晃
• 動作落在拍子上
• 跑步如果如何節奏可達省力之作用

群眾舞蹈的能力：社會鍵結

• 舞蹈
• 富節奏感而重複性的動作可以被他人預期
• 音樂
• 提供穩定進行的拍子
• 可預期的動作，可以建立一種信賴感，可能帶有社交互動之功能
• Synchronized drumming enhances activity in the caudate and facilitates prosocial commitment
• 受試者和二位實驗者合奏打擊樂，最後實驗者不小心把鉛筆散落地上，並且把受試者協助撿起的鉛筆數當作友善的指標
• 結果發現，如果打在相同的節奏上，協助意願提升
• 這也與caudate相關
• 群體舞蹈的功能：去個別化，而讓情感和諧(圈圈的隊形使彼此可見)
• 大規模的結盟
• 教會活動
• 演唱會
• 球賽
  note：相較之下，靈長類動物的作法則是梳理毛髮(grooming)，但是效率很差

Rhythmic or patterned motor activity

• 一種有限的重複性動作，並且具有節奏性
• 走路、跑步、游泳、腳踏車、咀嚼、笑
• 舉凡是patterned的重複動作，必然會產生rhythm
• 反覆節奏：結束前要有對比(結束之儀式)
• 慣性動作：一旦開始則難以停止
• Parkinson's disease：難以自主啟動動作，也難以停止已啟動的動作
• 拍節基模建立後難以改變，需藉由調整而引起注意

Schema shift 

• 拍節的進行自有慣性(inertia)
• 變換拍節：要求聽眾跳出慣性地聆聽方式，提高注意力以暫時切換基模
• 3,3,3,3 ==>3,3,3,3,+4 ==> 4,4,4,4,

tonal schema shift

• 調性轉換：也會讓人感覺到緊張、情緒的脈動
• 副歌：重複 & 吊胃口
• 吊鈸漸強
• 轉調
• 速度漸慢

結論：

• pitch perception
• 右側聽覺皮質對pitch較為敏感(頻率解析度)，因此可以辨明音程
• 如與其他腦區有良好互動，可將之遷入音程
• beat and meter
• 拍鞋可促使人際合作
• 走路跑步等運動模式成為其基礎
• schema shifts
• 流行歌的轉調、換拍

Q&A：人類音樂抽象，需有音樂或者節拍，方能辨別。若無，人類可能無法理解，但或其它

動物可區辨理解之。

Q&A：認知基模的行程沒有關鍵期，但小時候學較為容易(約20歲以前)。

Cognition question and question

Q&A：有些音樂第一次聽會有情緒反應，部分可能是本能，如嬰兒可能從小就善於理解語氣中的情緒(或者狗也是)。另外，也有些聲音特質是成長過程中經由淺移默化而學習來，如體感認知(像是心情好時，走路也是輕快活躍；反之，聽到輕快音樂也會造成輕快動作，引起快樂情緒)。音樂往往是模仿身體動作，因而引起相關的情緒(image-schema)。只是這種學習是在無意識間學習的成果。

Q&A：對音樂的喜好是否有絕對性？ 評價音樂需要聽覺皮質與orbitofrontal cortex互動，比較複雜的相對音感還需要inferior frontal cortex進行幾何學的運算，這些絕對性的特質可能決定共同喜好的原因(如對稱、距離等)

參考：The possibility of impossible cultures

Q&A：慢跑時聽音樂應可降低運動的撞牆期，並且提升腦內啡的作用。目前沒有相關的正規研究。

Q&A：作曲時mirror neuron是否活化？ 目前相信其作用是促使個體互動與社交功能，但是在那之前，mirror neuron是用以監控自己的行為動作。

Q&A：需要高警醒度的功能時，是否可聽較有節奏感的音樂？  應該是有效的，如美國游泳運動員在下水之前都在聽音樂

Q&A：假設不是預期將被感動的話，是突然被某首歌所感動，其活化機制是否不同？ 

Q&A：音樂與情緒的關係？  各種情緒種類與對應的腦區不同，如快樂的情緒與運動區相關，而令人恐懼的音樂則與視覺注意力相關的腦區活化；喚起鄉愁的音樂會喚起VMPFC和海馬迴的作用，不和諧音也是如此

Q&A：不同大腦階段的音樂研究目前非常少。研究音樂與大腦的關係目前是無論年齡，僅有少數是針對年長者的探索。

Q&A：青春期前後對音樂的情緒反應可能有巨大改變。如陳一平等人的研究發現，高中以上對於悲傷的音樂較有感覺，而低於高中的人則對於戲謔逗弄的音樂有感覺，而無法理解悲傷的音樂

Q&A：讀書時到底要聽有歌詞或者沒有歌詞的音樂？  音樂治療的三個原則：

(1)同質原理 (iso principle)：配合當下狀態與個人特質之喜好。如欲讓急躁的病人冷靜下來，應先提供快節奏的音樂後再將音樂節奏下降(如直接給予平淡的音樂，則通常個案不會理會；反之憂鬱症亦然) 

(2)共乘原理(entrain)：使病患更投入眼前任務。如莫札特的音樂可以促使某些音樂，可能因其轉調的特質使個案的空間旋轉能力提升。

(3)移轉原理(deversion)：轉移病人的注意力。如聽到幻覺的思覺失調症個案，則使用其它音樂來轉移其注意力。

Q&A：音樂治療對於憂鬱症個案有深刻的影響。但是具體作用機制尚且不明。

參考： The arousing and cathartic effects of popular heartbreak songs as revealed in the physiological responses of listen

Q&A：節奏感不好的人，其動作協調性與效率是否較差？  可能，但沒有明確證據。

Q&A：承上，優秀運動員的節奏感是否較好？  可能，極端的例子如妥瑞氏症個案的基底神經核與常人有異，其運動神經也非常好。相關腦區包含SMA及運動神經區。