摘要— 本文提出了一種新穎的度量方法，從心電圖和皮膚電活動信號中提取特征，以近乎實時地將每位觀眾的反應(yīng)量化為無、中等和高。該度量方法直觀，并且與生物特征數(shù)據(jù)的手動編碼結(jié)果吻合良好。該度量方法有效性和可靠性的初步證據(jù)來自一系列使用不同刺激（即體育賽事；廣告；情景喜劇）和不同參與者群體（N=231）的研究。本文還討論了這種方法在多種用途上的實用性。

關(guān)鍵詞— 媒體研究，生理信號，心率，皮膚電導，拐點，信號處理，自適應(yīng)閾值。

I.引言

情感反應(yīng)可以廣義地定義為對特定內(nèi)心感受的反應(yīng)，伴隨著可能或可能不外顯的生理變化。簡而言之，情感涉及生理喚醒和認知歸因（即標簽化）。情感喚醒涉及自主神經(jīng)系統(tǒng)活動的變 化。自主神經(jīng)系統(tǒng)是一個通用生理系統(tǒng)，負責調(diào)節(jié)外周功能，如心率和呼吸節(jié)奏[1]。該系統(tǒng)由交感神經(jīng)和副交感神經(jīng)分支組成，通常分別與激活和放松相關(guān)。由于ANS的通用性，其活動并不僅僅是情感反應(yīng)的功能，還涵蓋了與消化、穩(wěn)態(tài)、努力、注意力等多種其他功能。

ANS激活的常用評估指標基于皮膚電（即汗腺）或心血管（即血液循環(huán)系統(tǒng)）反應(yīng)。皮膚電活動是人體導致皮膚電特性持續(xù)變化的屬性。EDA的測量，通常稱為皮膚電導，由交感神經(jīng)活動自主調(diào)節(jié)，交感神經(jīng)活動在潛意識層面驅(qū)動人類行為、認知和情感狀態(tài)。SC為自主情緒調(diào)節(jié)提供了直接的洞察。Najstr?m和Jansson [2] 研究了在壓力事件后，對掩蔽威脅圖片的皮膚電導反應(yīng)性對情感反應(yīng)的預(yù)測價值。EDA可用于索引幾種不同的過程，如激活、注意力以及任務(wù)重要性或刺激的情感強度[3]。Simons等人[4]表明，與低喚醒度圖像相比，高喚醒度圖像引   發(fā)的SC反應(yīng)更大。Hubert和de Jong-Meyer [5]也發(fā)現(xiàn)，一部10分鐘的卡通片誘發(fā)了一種愉快的愉悅狀態(tài)，其特征是低水平的喚醒和SC的快速下降。相比之下，一部懸疑片則導致放松感減 少，喚醒度增加，表現(xiàn)為SC的顯著增加。

用于研究情感反應(yīng)的心血管指標包括心率、血壓、總外周阻力、心輸出量、射血前期和心率變異性。HR和BP反映了交感神經(jīng)和副交感神經(jīng)活動的結(jié)合，而HRV與副交感神經(jīng)活動密  切相關(guān)[6]。Choi等人[7]建議僅在視覺刺激誘發(fā)高度情緒時才使用基于HRV的評估。De Jonckheere等人[8]表明，基于HRV的度量可以很好地指示情感情境中的副交感神經(jīng)變

化。Appelhans和Luecken [9]為使用HRV作為個體情緒反應(yīng)調(diào)節(jié)差異的指標提供了理論和實證依據(jù)。HRV是一種易于使用的研究工具，可以增進對情感在社會和心理病理過程中作用的理解。

研究人員已將ANS輸出整合到關(guān)注對各種刺激和媒體的情感反應(yīng)的研究中。Detenber等人[10] 借助主觀測量和生理數(shù)據(jù)（SC和HR）研究了圖像運動對個體情感反應(yīng)的影響。Renaud和Blondin [11]測量了心率、皮膚電導反應(yīng)頻率和自我報告，以研究參與者在執(zhí)行計算機版Stroop 色詞干擾測試期間的焦慮水平。

作為一種廣告媒介，電視具有許多優(yōu)勢，例如視聽沖擊力強、地理覆蓋范圍廣、目標選擇精準以及受眾覆蓋面廣[12]。為了確保這些優(yōu)勢，需要大量的資金投入。例如，2018年超級碗30秒廣告的平均價格超過500萬美元[13]。因此，為了這些收益并最小化財務(wù)浪費，廣告從業(yè)者和研究人員一直關(guān)注電視廣告的效果。多篇文章表明，可以通過監(jiān)測神經(jīng)生理參數(shù)來研究廣告的效

果。Siefert等人[20]在2008年超級碗期間收集了生物特征數(shù)據(jù)，并研究了生物特征測量在評估消費者對廣告內(nèi)容的情感投入方面的效用。Ohme等人[14]證明了神經(jīng)生理測量可以捕捉消費者對略有不同的營銷刺激反應(yīng)的差異。作者展示了觀眾對電視廣告中一個修改場景的神經(jīng)生理反應(yīng)存在顯著差異。Ravaja [15]概述了心理生理測量在媒體研究中用于注意力和情緒的應(yīng)用，重點介紹了三種的測量方法：心率、面部肌電圖和皮膚電活動。Lang [16]通過分析心率數(shù)據(jù)，顯示了觀看商業(yè)信息的受試者的短期注意反應(yīng)和長期喚醒。

評估ANS對刺激的反應(yīng)的潛在益處幾乎沒有爭議。然而，此類研究的成本、時間和解釋難度嚴重限制了這些技術(shù)的應(yīng)用。后者尤其令人煩惱，因為許多本可以從納入生理測量中受益的人，由于缺乏熟悉度、經(jīng)驗或認為無法解釋數(shù)據(jù)輸出而避免使用它們。本文提出了一種新穎的度量方法， 用于基于受試者的心率和皮膚電導研究其情感反應(yīng)，以解決這些問題。該度量可以實時生成，無需基線校準，直觀且易于解釋，并可用于在同一尺度上評估不同的刺激。

本文描述了該度量的計算方法、用于收集數(shù)據(jù)的系統(tǒng)，并展示了一系列證明該度量有效性和可靠性的研究。主要貢獻在于展示了一個能夠收集生物物理數(shù)據(jù)、計算非意識度量并實時、無需人工干預(yù)生成結(jié)果的系統(tǒng)。

四、試點觀察

通過一套精細而簡潔的編碼系統(tǒng)，我們將推導出的皮膚電導與心率變異性響應(yīng)量化為情緒反應(yīng)指標。皮膚電導響應(yīng)分為三個等級：高正向趨勢、正向趨勢與拐點；而心率變異性響應(yīng)為二元指標，即基于閾值處理的EBC值進行判定。

圖5中標示了皮膚電導的趨勢點與拐點示例：洋紅點標識正斜率的起始位點，綠點標記正向趨勢，紅點則顯示高正向趨勢。在大多數(shù)時間段內(nèi)，心率變異性未出現(xiàn)劇烈波動，僅在某些區(qū)間呈現(xiàn)低值狀態(tài)——這意味著心率保持相對恒定，表明受試者正處于注意力集中狀態(tài)。

該受試者在多數(shù)時間都對刺激產(chǎn)生了反應(yīng)。在30秒附近同時出現(xiàn)高正向皮膚電導趨勢與心率變異性響應(yīng)， 故標記為高強度響應(yīng)；同理，130秒附近同時出現(xiàn)的拐點與心率變異性響應(yīng)也被歸類為高強度響應(yīng)。其 余"常規(guī)響應(yīng)"則由皮膚電導變化引起（即未伴隨相應(yīng)的心率變異性響應(yīng)）。

從圖5可清晰看出，受試者在前兩條廣告期間持續(xù)產(chǎn)生反應(yīng)，而對后兩條廣告反應(yīng)較弱（這與前文提及的消費者報告結(jié)論一致）。研究通常不局限于個體分析，通過計算響應(yīng)觀眾占比即可實現(xiàn)全體受試者數(shù)據(jù)的聚合分析。如圖6所示，在35秒時點：起亞廣告引發(fā)100%觀眾響應(yīng)，潔霸廣告為75%，《坦克世界》廣告為37.5%，肯德基廣告達62.5%。前兩條廣告的高強度響應(yīng)觀眾比例顯著高于后兩條，這種觀眾比例時序圖能幫助研究人員直觀掌握多數(shù)受試者產(chǎn)生共鳴的關(guān)鍵時刻。

上述所有指標均支持實時計算，因為響應(yīng)提取與分類算法僅依賴5秒時間窗口數(shù)據(jù)，而非全時段數(shù)據(jù)。這使得焦點小組主持人能實時定位廣告或其他刺激物中的興趣點，而非依賴事后獲取的自我報告。自我報告僅能提供對整體廣告的籠統(tǒng)評價，無法精準定位引發(fā)觀眾興趣的具體節(jié)點，且可能受到與刺激無關(guān)的外部因素干擾；而本算法檢測的生理參數(shù)變化則不受這些外部因素影響。

五、效度驗證研究

A.引言

本試點研究的主要目標是建立一套高度自動化的方法，將觀眾反應(yīng)編碼為三個等級（即無響應(yīng)、常規(guī)響應(yīng)、高強度響應(yīng)）。隨后我們開展了一系列后續(xù)研究以檢驗這些指標的效度。我們特別關(guān)注這些指標是否能真實測量情緒喚起水平——        尋找一個的情緒喚起結(jié)果測量指標本身具有挑戰(zhàn)性。

所有數(shù)據(jù)集的"任意響應(yīng)"均通過前述算法進行計算。在本文后續(xù)章節(jié)中，"任意響應(yīng)"將統(tǒng)一簡稱為"響

應(yīng)"。下一節(jié)將進行比較的不同刺激條件詳見表3所列。

B.討論

圖7匯總了表3所列各刺激條件的響應(yīng)數(shù)據(jù)。水平條 形表示特定刺激條件的平均響應(yīng)強度，垂直誤差線則表征樣本標準差（注：法國對秘魯?shù)谋荣愔袃H出現(xiàn)一次進球，故無法計算方差）。

我們針對測量指標提出六項可通過這些數(shù)據(jù)集驗證的假設(shè)，現(xiàn)將按預(yù)期效應(yīng)強度逐條論述如下：

1.足球進球時刻的響應(yīng)強度應(yīng)高于比賽平均值。從直覺而言，進球時刻理應(yīng)比足球比賽中的普通片段引發(fā)更強烈的反應(yīng)。在兩場賽事中，對進球產(chǎn)生響應(yīng)的觀眾峰值比例比比賽期間的平均響應(yīng)高出四個標準差以上。若三個隨機樣本均出現(xiàn)超出均值三個標準差的情況，其概率僅約四億分之一。

2.超級碗達陣得分應(yīng)高于比賽平均水平。同理，美式橄欖球中的達陣得分也比普通比賽片段更能引發(fā)情緒喚起。在2018年超級碗的143個比賽片段中

（含達陣、射門及其他非得分片段），觀眾平均響應(yīng)率為44%（標準差14%）。其中監(jiān)測到的7次達陣時刻，峰值響應(yīng)觀眾比例達90%，超出比賽平均值3.2個標準差。

3.超級碗射門得分應(yīng)低于達陣但高于比賽均值。這是因為射門得分值較低、通常經(jīng)過預(yù)先布置（缺乏突發(fā)性），且基于踢球位置可預(yù)判結(jié)果。但作為得分方式，其重要性仍高于普通比賽片段。射門得分時的平均峰值響應(yīng)率為64%，較比賽均值高1.4個標準差，但顯著低于達陣得分——這與預(yù)期吻合。該現(xiàn)象隨機發(fā)生的概率低于0.1%。

4.廣告響應(yīng)強度應(yīng)低于比賽本身。2018年超級碗比 賽期間觀眾平均響應(yīng)率為44%，而廣告時段僅38%；法國-秘魯比賽響應(yīng)率為38%，中場廣告僅30%；墨西哥-巴西比賽響應(yīng)率49%，廣告時段48%。所有案例均顯示比賽響應(yīng) 率略高于廣告，驗證了該假設(shè)。但差異幅度小于預(yù)期，可能是"關(guān)注廣告"的指令要求人為抬升了 廣告響應(yīng)值。

5.法國-秘魯比賽的響應(yīng)水平應(yīng)低于墨西哥-巴西比賽。這一預(yù)期源于法國-秘魯比賽的受試者中缺乏雙方球隊擁躉，而墨西哥-巴西比賽則全部為墨西哥隊球迷。實際數(shù)據(jù)呈現(xiàn)顯著差異：法國-秘魯比賽平均響應(yīng)率為38%，而墨西哥-巴西比賽達49%。該差異可能因法國-秘魯比賽精彩度不足而放大（事后多名受試者反饋該場比賽較為沉悶）。

6.體育賽事的平均響應(yīng)水平應(yīng)高于情境喜劇?；谑找曇?guī)模與競爭賽事的本質(zhì)屬性， 體育賽事理當比情境喜劇——尤其是一部收視慘淡、研究結(jié)束后即遭停播的劇集

——更能激發(fā)觀視興趣。數(shù)據(jù)支持該假設(shè)： 劇集響應(yīng)觀眾比例均低于三項體育賽事。情境喜劇平均響應(yīng)率為34%，而超級碗、法國- 秘魯、墨西哥-巴西的響應(yīng)率分別為44%、38%和49%。

對這四項數(shù)據(jù)集的分析結(jié)果全面支持了所有六項先驗假設(shè)。這些發(fā)現(xiàn)有力印證了該響應(yīng)指標具備以下特征：

1.能捕捉引發(fā)觀眾情緒喚起的關(guān)鍵時刻

2.可區(qū)分能引發(fā)情緒喚起的刺激與無效刺激

3.能量化觀眾群體中不同等級的情緒喚起強度

4.可在統(tǒng)一量綱下實現(xiàn)不同刺激源的比較評估

VI.可靠性

A.引言

本研究采用NeurolynQ系統(tǒng)對51名受試者進行監(jiān)測，通過觀看標準20分鐘情境喜劇來量化算法的可靠性，并確定實 際研究場景中的樣本量需求。所有七場實驗均在標準化焦 點小組實驗室完成，單場參與人數(shù)介于4至10人之間（詳見表3）。受試者通過商場隨機招募獲得，人口學特征覆蓋廣泛：涵蓋18至60歲普通人群，男女均衡。

VII.總結(jié)與結(jié)論

本文提出了一種使用生理信號（ECG和EDA）來量化受試者情感反應(yīng)（反應(yīng)率度量）的信號處理方法。SC數(shù)據(jù)被分 類為3類之一：高正趨勢、正趨勢和拐點。IBI數(shù)據(jù)被轉(zhuǎn)換為HRV，并進一步標記為HRV反應(yīng)。然后使用獨特而簡單 的編碼方案將SC和HRV反應(yīng)轉(zhuǎn)化為情感反應(yīng)。反應(yīng)率度量具有一系列非常理想的功能特性，包括：

1.可以實時計算。

2.對研究人員來說直觀，并且貢獻可以追溯到個體 受訪者。

3.與數(shù)據(jù)的手動編碼結(jié)果吻合良好。

4.捕捉整個反應(yīng)周期，而不僅僅是峰值。

5.可用于在同一尺度上比較不同的刺激。

通過將硬件、軟件和算法集成到一個系統(tǒng)中，研究人員能 夠在人們暴露于刺激時實時分析他們的情感反應(yīng)。

為了評估有效性，作者分析了體育賽事，在這些賽事中可 以合理地假設(shè)觀眾對得分回合會有高反應(yīng)。然后我們將此 分析擴展到其他刺激，包括廣告和電視情景喜劇。研究結(jié) 果支持了直觀的假設(shè)：

1.高興奮度得分回合（達陣和進球）的反應(yīng)率比平

2.低興奮度得分回合（射門得分）的反應(yīng)率比平均 值高出約1.4個標準差。

3.參與度較低的觀眾比參與度較高的觀眾反應(yīng)率更 低。

4.電視廣告和情景喜劇的平均反應(yīng)率低于體育賽 事。

最后，作者通過比較情景喜劇研究中的子樣本與全樣本來 評估了度量的可靠性。