摘要— 本文提出了一種新穎的度量方法，從心電圖和皮膚電活動(dòng)信號(hào)中提取特征，以近乎實(shí)時(shí)地將每位觀眾的反應(yīng)量化為無(wú)、中等和高。該度量方法直觀，并且與生物特征數(shù)據(jù)的手動(dòng)編碼結(jié)果吻合良好。該度量方法有效性和可靠性的初步證據(jù)來(lái)自一系列使用不同刺激（即體育賽事；廣告；情景喜劇）和不同參與者群體（N=231）的研究。本文還討論了這種方法在多種用途上的實(shí)用性。
關(guān)鍵詞— 媒體研究，生理信號(hào)，心率，皮膚電導(dǎo)，拐點(diǎn)，信號(hào)處理，自適應(yīng)閾值。
I.引言
情感反應(yīng)可以廣義地定義為對(duì)特定內(nèi)心感受的反應(yīng)，伴隨著可能或可能不外顯的生理變化。簡(jiǎn)而言之，情感涉及生理喚醒和認(rèn)知?dú)w因（即標(biāo)簽化）。情感喚醒涉及自主神經(jīng)系統(tǒng)活動(dòng)的變 化。自主神經(jīng)系統(tǒng)是一個(gè)通用生理系統(tǒng)，負(fù)責(zé)調(diào)節(jié)外周功能，如心率和呼吸節(jié)奏[1]。該系統(tǒng)由交感神經(jīng)和副交感神經(jīng)分支組成，通常分別與激活和放松相關(guān)。由于ANS的通用性，其活動(dòng)并不僅僅是情感反應(yīng)的功能，還涵蓋了與消化、穩(wěn)態(tài)、努力、注意力等多種其他功能。
ANS激活的常用評(píng)估指標(biāo)基于皮膚電（即汗腺）或心血管（即血液循環(huán)系統(tǒng)）反應(yīng)。皮膚電活動(dòng)是人體導(dǎo)致皮膚電特性持續(xù)變化的屬性。EDA的測(cè)量，通常稱(chēng)為皮膚電導(dǎo)，由交感神經(jīng)活動(dòng)自主調(diào)節(jié)，交感神經(jīng)活動(dòng)在潛意識(shí)層面驅(qū)動(dòng)人類(lèi)行為、認(rèn)知和情感狀態(tài)。SC為自主情緒調(diào)節(jié)提供了直接的洞察。Najstr?m和Jansson [2] 研究了在壓力事件后，對(duì)掩蔽威脅圖片的皮膚電導(dǎo)反應(yīng)性對(duì)情感反應(yīng)的預(yù)測(cè)價(jià)值。EDA可用于索引幾種不同的過(guò)程，如激活、注意力以及任務(wù)重要性或刺激的情感強(qiáng)度[3]。Simons等人[4]表明，與低喚醒度圖像相比，高喚醒度圖像引 發(fā)的SC反應(yīng)更大。Hubert和de Jong-Meyer [5]也發(fā)現(xiàn)，一部10分鐘的卡通片誘發(fā)了一種愉快的愉悅狀態(tài)，其特征是低水平的喚醒和SC的快速下降。相比之下，一部懸疑片則導(dǎo)致放松感減 少，喚醒度增加，表現(xiàn)為SC的顯著增加。
用于研究情感反應(yīng)的心血管指標(biāo)包括心率、血壓、總外周阻力、心輸出量、射血前期和心率變異性。HR和BP反映了交感神經(jīng)和副交感神經(jīng)活動(dòng)的結(jié)合，而HRV與副交感神經(jīng)活動(dòng)密 切相關(guān)[6]。Choi等人[7]建議僅在視覺(jué)刺激誘發(fā)高度情緒時(shí)才使用基于HRV的評(píng)估。De Jonckheere等人[8]表明，基于HRV的度量可以很好地指示情感情境中的副交感神經(jīng)變
化。Appelhans和Luecken [9]為使用HRV作為個(gè)體情緒反應(yīng)調(diào)節(jié)差異的指標(biāo)提供了理論和實(shí)證依據(jù)。HRV是一種易于使用的研究工具，可以增進(jìn)對(duì)情感在社會(huì)和心理病理過(guò)程中作用的理解。
研究人員已將ANS輸出整合到關(guān)注對(duì)各種刺激和媒體的情感反應(yīng)的研究中。Detenber等人[10] 借助主觀測(cè)量和生理數(shù)據(jù)（SC和HR）研究了圖像運(yùn)動(dòng)對(duì)個(gè)體情感反應(yīng)的影響。Renaud和Blondin [11]測(cè)量了心率、皮膚電導(dǎo)反應(yīng)頻率和自我報(bào)告，以研究參與者在執(zhí)行計(jì)算機(jī)版Stroop 色詞干擾測(cè)試期間的焦慮水平。
作為一種廣告媒介，電視具有許多優(yōu)勢(shì)，例如視聽(tīng)沖擊力強(qiáng)、地理覆蓋范圍廣、目標(biāo)選擇精準(zhǔn)以及受眾覆蓋面廣[12]。為了確保這些優(yōu)勢(shì)，需要大量的資金投入。例如，2018年超級(jí)碗30秒廣告的平均價(jià)格超過(guò)500萬(wàn)美元[13]。因此，為了這些收益并最小化財(cái)務(wù)浪費(fèi)，廣告從業(yè)者和研究人員一直關(guān)注電視廣告的效果。多篇文章表明，可以通過(guò)監(jiān)測(cè)神經(jīng)生理參數(shù)來(lái)研究廣告的效
果。Siefert等人[20]在2008年超級(jí)碗期間收集了生物特征數(shù)據(jù)，并研究了生物特征測(cè)量在評(píng)估消費(fèi)者對(duì)廣告內(nèi)容的情感投入方面的效用。Ohme等人[14]證明了神經(jīng)生理測(cè)量可以捕捉消費(fèi)者對(duì)略有不同的營(yíng)銷(xiāo)刺激反應(yīng)的差異。作者展示了觀眾對(duì)電視廣告中一個(gè)修改場(chǎng)景的神經(jīng)生理反應(yīng)存在顯著差異。Ravaja [15]概述了心理生理測(cè)量在媒體研究中用于注意力和情緒的應(yīng)用，重點(diǎn)介紹了三種的測(cè)量方法：心率、面部肌電圖和皮膚電活動(dòng)。Lang [16]通過(guò)分析心率數(shù)據(jù)，顯示了觀看商業(yè)信息的受試者的短期注意反應(yīng)和長(zhǎng)期喚醒。
評(píng)估ANS對(duì)刺激的反應(yīng)的潛在益處幾乎沒(méi)有爭(zhēng)議。然而，此類(lèi)研究的成本、時(shí)間和解釋難度嚴(yán)重限制了這些技術(shù)的應(yīng)用。后者尤其令人煩惱，因?yàn)樵S多本可以從納入生理測(cè)量中受益的人，由于缺乏熟悉度、經(jīng)驗(yàn)或認(rèn)為無(wú)法解釋數(shù)據(jù)輸出而避免使用它們。本文提出了一種新穎的度量方法， 用于基于受試者的心率和皮膚電導(dǎo)研究其情感反應(yīng)，以解決這些問(wèn)題。該度量可以實(shí)時(shí)生成，無(wú)需基線(xiàn)校準(zhǔn)，直觀且易于解釋?zhuān)⒖捎糜谠谕怀叨壬显u(píng)估不同的刺激。
本文描述了該度量的計(jì)算方法、用于收集數(shù)據(jù)的系統(tǒng)，并展示了一系列證明該度量有效性和可靠性的研究。主要貢獻(xiàn)在于展示了一個(gè)能夠收集生物物理數(shù)據(jù)、計(jì)算非意識(shí)度量并實(shí)時(shí)、無(wú)需人工干預(yù)生成結(jié)果的系統(tǒng)。
四、試點(diǎn)觀察
通過(guò)一套精細(xì)而簡(jiǎn)潔的編碼系統(tǒng)，我們將推導(dǎo)出的皮膚電導(dǎo)與心率變異性響應(yīng)量化為情緒反應(yīng)指標(biāo)。皮膚電導(dǎo)響應(yīng)分為三個(gè)等級(jí)：高正向趨勢(shì)、正向趨勢(shì)與拐點(diǎn)；而心率變異性響應(yīng)為二元指標(biāo)，即基于閾值處理的EBC值進(jìn)行判定。
圖5中標(biāo)示了皮膚電導(dǎo)的趨勢(shì)點(diǎn)與拐點(diǎn)示例：洋紅點(diǎn)標(biāo)識(shí)正斜率的起始位點(diǎn)，綠點(diǎn)標(biāo)記正向趨勢(shì)，紅點(diǎn)則顯示高正向趨勢(shì)。在大多數(shù)時(shí)間段內(nèi)，心率變異性未出現(xiàn)劇烈波動(dòng)，僅在某些區(qū)間呈現(xiàn)低值狀態(tài)——這意味著心率保持相對(duì)恒定，表明受試者正處于注意力集中狀態(tài)。
該受試者在多數(shù)時(shí)間都對(duì)刺激產(chǎn)生了反應(yīng)。在30秒附近同時(shí)出現(xiàn)高正向皮膚電導(dǎo)趨勢(shì)與心率變異性響應(yīng)， 故標(biāo)記為高強(qiáng)度響應(yīng)；同理，130秒附近同時(shí)出現(xiàn)的拐點(diǎn)與心率變異性響應(yīng)也被歸類(lèi)為高強(qiáng)度響應(yīng)。其 余"常規(guī)響應(yīng)"則由皮膚電導(dǎo)變化引起（即未伴隨相應(yīng)的心率變異性響應(yīng)）。
從圖5可清晰看出，受試者在前兩條廣告期間持續(xù)產(chǎn)生反應(yīng)，而對(duì)后兩條廣告反應(yīng)較弱（這與前文提及的消費(fèi)者報(bào)告結(jié)論一致）。研究通常不局限于個(gè)體分析，通過(guò)計(jì)算響應(yīng)觀眾占比即可實(shí)現(xiàn)全體受試者數(shù)據(jù)的聚合分析。如圖6所示，在35秒時(shí)點(diǎn)：起亞廣告引發(fā)100%觀眾響應(yīng)，潔霸廣告為75%，《坦克世界》廣告為37.5%，肯德基廣告達(dá)62.5%。前兩條廣告的高強(qiáng)度響應(yīng)觀眾比例顯著高于后兩條，這種觀眾比例時(shí)序圖能幫助研究人員直觀掌握多數(shù)受試者產(chǎn)生共鳴的關(guān)鍵時(shí)刻。
上述所有指標(biāo)均支持實(shí)時(shí)計(jì)算，因?yàn)轫憫?yīng)提取與分類(lèi)算法僅依賴(lài)5秒時(shí)間窗口數(shù)據(jù)，而非全時(shí)段數(shù)據(jù)。這使得焦點(diǎn)小組主持人能實(shí)時(shí)定位廣告或其他刺激物中的興趣點(diǎn)，而非依賴(lài)事后獲取的自我報(bào)告。自我報(bào)告僅能提供對(duì)整體廣告的籠統(tǒng)評(píng)價(jià)，無(wú)法精準(zhǔn)定位引發(fā)觀眾興趣的具體節(jié)點(diǎn)，且可能受到與刺激無(wú)關(guān)的外部因素干擾；而本算法檢測(cè)的生理參數(shù)變化則不受這些外部因素影響。
五、效度驗(yàn)證研究
A.引言
本試點(diǎn)研究的主要目標(biāo)是建立一套高度自動(dòng)化的方法，將觀眾反應(yīng)編碼為三個(gè)等級(jí)（即無(wú)響應(yīng)、常規(guī)響應(yīng)、高強(qiáng)度響應(yīng)）。隨后我們開(kāi)展了一系列后續(xù)研究以檢驗(yàn)這些指標(biāo)的效度。我們特別關(guān)注這些指標(biāo)是否能真實(shí)測(cè)量情緒喚起水平—— 尋找一個(gè)的情緒喚起結(jié)果測(cè)量指標(biāo)本身具有挑戰(zhàn)性。
所有數(shù)據(jù)集的"任意響應(yīng)"均通過(guò)前述算法進(jìn)行計(jì)算。在本文后續(xù)章節(jié)中，"任意響應(yīng)"將統(tǒng)一簡(jiǎn)稱(chēng)為"響
應(yīng)"。下一節(jié)將進(jìn)行比較的不同刺激條件詳見(jiàn)表3所列。
B.討論
圖7匯總了表3所列各刺激條件的響應(yīng)數(shù)據(jù)。水平條 形表示特定刺激條件的平均響應(yīng)強(qiáng)度，垂直誤差線(xiàn)則表征樣本標(biāo)準(zhǔn)差（注：法國(guó)對(duì)秘魯?shù)谋荣愔袃H出現(xiàn)一次進(jìn)球，故無(wú)法計(jì)算方差）。
我們針對(duì)測(cè)量指標(biāo)提出六項(xiàng)可通過(guò)這些數(shù)據(jù)集驗(yàn)證的假設(shè)，現(xiàn)將按預(yù)期效應(yīng)強(qiáng)度逐條論述如下：
1.足球進(jìn)球時(shí)刻的響應(yīng)強(qiáng)度應(yīng)高于比賽平均值。從直覺(jué)而言，進(jìn)球時(shí)刻理應(yīng)比足球比賽中的普通片段引發(fā)更強(qiáng)烈的反應(yīng)。在兩場(chǎng)賽事中，對(duì)進(jìn)球產(chǎn)生響應(yīng)的觀眾峰值比例比比賽期間的平均響應(yīng)高出四個(gè)標(biāo)準(zhǔn)差以上。若三個(gè)隨機(jī)樣本均出現(xiàn)超出均值三個(gè)標(biāo)準(zhǔn)差的情況，其概率僅約四億分之一。
2.超級(jí)碗達(dá)陣得分應(yīng)高于比賽平均水平。同理，美式橄欖球中的達(dá)陣得分也比普通比賽片段更能引發(fā)情緒喚起。在2018年超級(jí)碗的143個(gè)比賽片段中
（含達(dá)陣、射門(mén)及其他非得分片段），觀眾平均響應(yīng)率為44%（標(biāo)準(zhǔn)差14%）。其中監(jiān)測(cè)到的7次達(dá)陣時(shí)刻，峰值響應(yīng)觀眾比例達(dá)90%，超出比賽平均值3.2個(gè)標(biāo)準(zhǔn)差。
3.超級(jí)碗射門(mén)得分應(yīng)低于達(dá)陣但高于比賽均值。這是因?yàn)樯溟T(mén)得分值較低、通常經(jīng)過(guò)預(yù)先布置（缺乏突發(fā)性），且基于踢球位置可預(yù)判結(jié)果。但作為得分方式，其重要性仍高于普通比賽片段。射門(mén)得分時(shí)的平均峰值響應(yīng)率為64%，較比賽均值高1.4個(gè)標(biāo)準(zhǔn)差，但顯著低于達(dá)陣得分——這與預(yù)期吻合。該現(xiàn)象隨機(jī)發(fā)生的概率低于0.1%。
4.廣告響應(yīng)強(qiáng)度應(yīng)低于比賽本身。2018年超級(jí)碗比 賽期間觀眾平均響應(yīng)率為44%，而廣告時(shí)段僅38%；法國(guó)-秘魯比賽響應(yīng)率為38%，中場(chǎng)廣告僅30%；墨西哥-巴西比賽響應(yīng)率49%，廣告時(shí)段48%。所有案例均顯示比賽響應(yīng) 率略高于廣告，驗(yàn)證了該假設(shè)。但差異幅度小于預(yù)期，可能是"關(guān)注廣告"的指令要求人為抬升了 廣告響應(yīng)值。
5.法國(guó)-秘魯比賽的響應(yīng)水平應(yīng)低于墨西哥-巴西比賽。這一預(yù)期源于法國(guó)-秘魯比賽的受試者中缺乏雙方球隊(duì)擁躉，而墨西哥-巴西比賽則全部為墨西哥隊(duì)球迷。實(shí)際數(shù)據(jù)呈現(xiàn)顯著差異：法國(guó)-秘魯比賽平均響應(yīng)率為38%，而墨西哥-巴西比賽達(dá)49%。該差異可能因法國(guó)-秘魯比賽精彩度不足而放大（事后多名受試者反饋該場(chǎng)比賽較為沉悶）。
6.體育賽事的平均響應(yīng)水平應(yīng)高于情境喜劇。基于收視規(guī)模與競(jìng)爭(zhēng)賽事的本質(zhì)屬性， 體育賽事理當(dāng)比情境喜劇——尤其是一部收視慘淡、研究結(jié)束后即遭停播的劇集
——更能激發(fā)觀視興趣。數(shù)據(jù)支持該假設(shè)： 劇集響應(yīng)觀眾比例均低于三項(xiàng)體育賽事。情境喜劇平均響應(yīng)率為34%，而超級(jí)碗、法國(guó)- 秘魯、墨西哥-巴西的響應(yīng)率分別為44%、38%和49%。
對(duì)這四項(xiàng)數(shù)據(jù)集的分析結(jié)果全面支持了所有六項(xiàng)先驗(yàn)假設(shè)。這些發(fā)現(xiàn)有力印證了該響應(yīng)指標(biāo)具備以下特征：
1.能捕捉引發(fā)觀眾情緒喚起的關(guān)鍵時(shí)刻
2.可區(qū)分能引發(fā)情緒喚起的刺激與無(wú)效刺激
3.能量化觀眾群體中不同等級(jí)的情緒喚起強(qiáng)度
4.可在統(tǒng)一量綱下實(shí)現(xiàn)不同刺激源的比較評(píng)估
VI.可靠性
A.引言
本研究采用NeurolynQ系統(tǒng)對(duì)51名受試者進(jìn)行監(jiān)測(cè)，通過(guò)觀看標(biāo)準(zhǔn)20分鐘情境喜劇來(lái)量化算法的可靠性，并確定實(shí) 際研究場(chǎng)景中的樣本量需求。所有七場(chǎng)實(shí)驗(yàn)均在標(biāo)準(zhǔn)化焦 點(diǎn)小組實(shí)驗(yàn)室完成，單場(chǎng)參與人數(shù)介于4至10人之間（詳見(jiàn)表3）。受試者通過(guò)商場(chǎng)隨機(jī)招募獲得，人口學(xué)特征覆蓋廣泛：涵蓋18至60歲普通人群，男女均衡。
VII.總結(jié)與結(jié)論
本文提出了一種使用生理信號(hào)（ECG和EDA）來(lái)量化受試者情感反應(yīng)（反應(yīng)率度量）的信號(hào)處理方法。SC數(shù)據(jù)被分 類(lèi)為3類(lèi)之一：高正趨勢(shì)、正趨勢(shì)和拐點(diǎn)。IBI數(shù)據(jù)被轉(zhuǎn)換為HRV，并進(jìn)一步標(biāo)記為HRV反應(yīng)。然后使用獨(dú)特而簡(jiǎn)單 的編碼方案將SC和HRV反應(yīng)轉(zhuǎn)化為情感反應(yīng)。反應(yīng)率度量具有一系列非常理想的功能特性，包括：
1.可以實(shí)時(shí)計(jì)算。
2.對(duì)研究人員來(lái)說(shuō)直觀，并且貢獻(xiàn)可以追溯到個(gè)體 受訪(fǎng)者。
3.與數(shù)據(jù)的手動(dòng)編碼結(jié)果吻合良好。
4.捕捉整個(gè)反應(yīng)周期，而不僅僅是峰值。
5.可用于在同一尺度上比較不同的刺激。
通過(guò)將硬件、軟件和算法集成到一個(gè)系統(tǒng)中，研究人員能 夠在人們暴露于刺激時(shí)實(shí)時(shí)分析他們的情感反應(yīng)。
為了評(píng)估有效性，作者分析了體育賽事，在這些賽事中可 以合理地假設(shè)觀眾對(duì)得分回合會(huì)有高反應(yīng)。然后我們將此 分析擴(kuò)展到其他刺激，包括廣告和電視情景喜劇。研究結(jié) 果支持了直觀的假設(shè)：
1.高興奮度得分回合（達(dá)陣和進(jìn)球）的反應(yīng)率比平
2.低興奮度得分回合（射門(mén)得分）的反應(yīng)率比平均 值高出約1.4個(gè)標(biāo)準(zhǔn)差。
3.參與度較低的觀眾比參與度較高的觀眾反應(yīng)率更 低。
4.電視廣告和情景喜劇的平均反應(yīng)率低于體育賽 事。
最后，作者通過(guò)比較情景喜劇研究中的子樣本與全樣本來(lái) 評(píng)估了度量的可靠性。
