人机融合智能 | 人智交互中的人类状态识别

01

引言

近年来,人工智能的飞速发展为科技和社会发展带来了诸多机遇和挑战,与此同时, AI 发展所带来的争议和问题也越来越受到学术界、产业界和社会大众的广泛关注。其中一个备受关注的重要议题是围绕“以人为中心”的理念开发 AI 系统,而且越来越多的计算机科学家和人机交互领域的专家开始倡导这一理念,并提出人 - 人工智能 交 互 ( human-AIinteraction , HAII ),即 人 智 交 互 这 一 概 念(Shneiderman , 2025a ; Xu , 2019 )。“以人为中心”的 AI 理念强调 AI 的研究目标之一是了解人类感知、认知和运动的能力,进而模拟和建构与人类一样甚至更好的执行各种任务的能力,并且认为人际互动是人机交互可以学习的范本(Shneiderman , 2025b ),最终旨在提高 HCAI 系统的可靠性、安全性和可信任度(Shneiderman , 2025c )。当围绕人的因素来开发 AI ,以及研究人智交互时,显而易见,人类作为生物体的生理、心理和社会属性将成为设计 AI 系统首要考虑的因素。传统的计算机是逻辑计算的典范,传统的人工智能尽管以人类智能为蓝本,但是并没有关注人类作为生物体的非智能方面的生物属性,以及人类作为高度社会化的生物所具有的社会属性。近 20 年来,随着人机交互、生理计算、情感计算、可穿戴技术等领域的兴起,伴随人类生物属性和社会属性而存在的生理、情感和意图等生理和心理状态在 AI 设计与人机交互中的重要性越来越受到关注。

️1. 人类的生理心理状态

目前,心理学领域普遍认同需要、动机和情绪构成了人类认知和行为等心智活动的动力系统(Zimbardo , etal., 2016 ),生理活动则构成了这一动力系统的基础(Shannahoff-Khalsa , 2007 )。首先,由基本的生理活动所引发的生理需要与情绪和动机紧密联系在一起( Rolls , 2018 )。当生物体获得食物、水、安全的庇护所、性、同伴的陪伴等有利于其生存繁衍的环境刺激时,个体产生积极、正性的情绪体验;当面临安全的威胁、腐败的食物等不利于其生存的环境刺激时,个体产生消极、负性的情绪体验。情绪可以认为是由上述环境刺激诱发的心理状态,动机可以认为是寻求和回避这些环境刺激的心理过程( Rolls , 2018 )。其次,认知活动与情绪状态之间存在相互作用。获得诺贝尔经济学奖的美国普林斯顿大学心理学教授 DanielKahneman 在《思考,快与慢》一书中提出人的大脑存在两个思维系统,一个是无意识的快系统,依赖情绪、记忆和经验迅速做出判断,对应着直觉思维;另一个是有意识的慢系统,通过调动注意来分析和判断,最后做出决策,对应着理性思维。在 Kahneman 的启发下,英国牛津大学的 Rolls 教授提出人类行为产生的路径系统可以分为两个:一个是基于情绪的行为产生系统,另一个是基于推理和理性思维的行为产生系统( Rolls , 2018 )。这两个系统相互竞争和制衡,以保持个体心理和行为的稳定,维持个体对环境的良好适应。

综上所述,人类的生理、情绪和认知活动是密不可分的有机整体,由这些生理和心理活动引发的生理和心理状态也是密不可分的有机整体。尽管如此,为了研究和分析的方便,可以把前面提到的广义的生理和心理状态,或者说人类的状态大致分为三类:生理状态、情绪状态和认知状态(Zimbardo ,etal., 2016 )。生理状态反映了人类作为生物体最基本的身体状态,例如饥渴、疲劳、困倦和疾病等。

️2. 人类状态在人智交互中的作用

认识和了解人类的生理和心理状态,并且在设计中考虑人类的状态,对于设计和开发基于 AI 技术的人智交互系统来说具有重要的理论意义和应用价值。

首先,对于 AI 实现的理论角度而言,如果一个 AI 系统不理解人类的生理和心理状态,也不能基于人类状态与人进行交互,那么它并不能被称为智能化的系统。正如 1985 年人工智能的奠基人之一MarvinMinsky 就提出了人工智能与情感的问题,他在其代表作《心智社会》一书中写道:“问题并不在于智能机器是否能有情感,而是没有情感的机器怎么能是智能的?”不能理解人类作为生物体的生理和心理状态的智能体,只能称之为逻辑系统。正如前文所述,人类行为产生的路径系统既包括基于情绪的行为产生系统,又包括基于推理和理性思维的行为产生系统( Rolls , 2018 )。如果忽视了基于情绪的行为产生系统,仅仅基于理性的行为产生系统,那么人类将失去在自然进化中获得的强大适应性,失去了最基本的生存能力。相应地,如果 AI 系统不能理解人类的状态,或者设计 AI 系统时没有考虑人类的状态,那么 AI 系统也很难适应这个复杂多变的世界,难以解决现实世界中错综复杂的问题,这样的 AI 系统也就称不上是智能的。

️3. 生理计算、情感计算与交互意图理解之间的关系

02

生理计算

生理计算是借助多种可穿戴计算技术,用户无须主动执行人机交互任务的一种人机交互模式(王宏安,田丰,戴国忠, 2011 )。传统的人机交互中,用户与计算机之间的信息流是不对称的,用户可以查询计算机内部进程的大量数据(例如内存使用、磁盘空间等),而计算机完全无法获知用户的心理意图和情感体验(Fairclough , 2017 )。但是,通过对用户的心理和生理反应进行持续监控,可以促进实现信息流对称的人机交互方式,信息同时从计算机流向用户,从用户流向计算机(Fairclough , 2017 )。

通过生理计算技术,即使在用户没有发出明确指令或操作行为的情况下,计算机也可以对任务上下文和用户意图进行推测,使计算机可以持续、动态地监测用户,从而表现出一定程度的智能水 平(Fairclough , 2017 ),使人与计算机之间的信息交互变得更加流畅自然。

️1. 生理计算的兴起与研究现状

2002 年,在人机交互领域最重要的国际会议 ACM ConferenceonHumanFactorsinComputingSystems ( CHI2002 )举行期间,召开了一场以“生理计算”为主题的小规模研讨会,这次研讨会的主题涉及情感计算、人因学、交互艺术和虚拟现实等,标志着生理计算正式诞生。 2009 年,英国利物浦约翰摩尔大学 Stephen H.Fairclough 教授在文章中指出了生理计算领域亟须解决的 6 个基本问题(Fairclough , 2009 )。第一,心理生理推论的复杂性:某些生理反应是否可以准确和敏感地反映某种心理特质或者心理维度。第二,心理和生理学推论效度的验证:如何有效地诱发参与者某种特定的心理或情绪状态,以此建立生理指标与心理状态之间的映射。第三,智能系统如何表征用户的心理和生理状态:采用连续维度还是离散分类的表征形式,多维度的信息如何表征。第四,用户自我觉知的心理状态与系统基于心理和生理数据生成的心理状态表征之间如果出现差异,系统该如何处理这种差异。第五,长期暴露在生理计算系统中可能会对用户的心理健康造成影响。第六,生理计算系统面临的伦理问题:如何保护用户的隐私。

️2. 生理计算的生理心理基础

身体是一切心理和生理活动的生物学基础。目前,心理学界普遍认为心理现象与躯体和大脑中发生的生理生化事件密切相关。与情绪情感状态和心智状态密切相关的生理基础主要包括 4 部分:自主神经系统的生理活动、中枢神经系统的生理活动、内分泌系统的生化反应和免疫系统的活动。这4 个系统在生理和心理状态产生过程中发挥作用的特点迥异,其测量技术和方法也各不相同,在生理计算和情感计算领域的应用价值也存在非常大的差异。

1 )自主神经系统自主神经系统(autonomicnervoussystem )又称植物性神经系统,是外周传出神经系统的一部分,调节内脏、血管平滑肌和腺体的活动,负责控制生命攸关的生理机能,包括心跳、呼吸、血管收缩、睡眠、消化和新陈代谢等功能。自主神经系统包括交感神经系统和副交感神经系统两部分,它们对内脏、血管和腺体保持着双重支配,发挥此消彼长、相互拮抗的作用。交感神经系统的活动主要保证人体在应激、紧张状态时的生理需要。副交感神经系统的作用与交感神经系统正好相反,主要保持身体在安静状态下的生理平衡,以节省不必要的能量消耗,抑制内脏器官的过度兴奋,使身体获得必要的休息。

自主神经系统与情绪情感和认知状态密切相关。通过测量自主神经系统生理反应可以在一定程度上反映个体的情绪和心理状态。自主神经生理反应指标主要包括心率(heartrate )及心率变异性(heartratevariability )、脉搏( pulse )及血管容积( vascularspace )、血压(bloodpressure )、皮肤电反应(galvanicskinresponse )、呼 吸 ( respiration )、皮 肤 温 度 ( skintemperature )、瞳 孔 大 小 (pupillarydilation )和眨眼( eyeblinks )等。这些指标可以方便地使用可穿戴式生理传感器采集。近年来,随着红外线传感技术和视频图像处理技术的发展,其中部分自主神经生理反应指标甚至可以通过非接触式的方式进行采集和分析,例如皮肤温度、呼吸、心率和血压。非接触式的生理信号采集方法摆脱了对目标用户身体的接触和约束,可以使用户产生更好的交互体验,同时为某些无法获得接触目标用户身体授权的特殊应用场景(例如,司法审讯、特殊场所监控)提供了便利。

2 )中枢神经系统

中枢神经系统的生理反应主要包括脑部的神经电活动(如 EEG )、由神经元放电引起的电磁变化(如 MEG )、血流量和血氧浓度变化(如 fMRI 和近红外光学成像技术)。正如在引言部分所述,由于测量中枢神经生理反应的技术都需要价格比较高昂甚至体积庞大的设备,而且这些设备需要接触目标用户的身体,或者将目标用户的身体置于设备之中,因此无法应用到需要进行即时交互的场景,但是可以应用于离线的场景,例如通过磁共振成像技术对某些神经或精神疾病进行预测或诊断。其中应用比较多的是 EEG ,因其价格相对比较便宜,设备体积较小,可以随身便携,并可以使用比较轻巧的少量电极片进行脑电采集,故已被广泛地应用于疲劳检测、特殊从业人员的心理和情绪状态监测、测谎、用户体验研究和其他人机交互领域。

3 )内分泌系统与免疫系统

内分泌系统指全身内分泌腺构成的系统,与情绪情感之间的关系非常紧密。内分泌器官出现病变会引起患者情绪状态的改变,甚至引发情感障碍。内分泌系统分泌的激素与情绪存在密切的关联,例如,应激事件会诱发负性情绪状态(如悲伤、愤怒或恐惧),并触发皮质醇释放(Baeetal., 2019 ),雌激素雌二醇水平与情绪和情绪调节能力都有密切关系 ( Chungetal. , 2019 ; Pace-Schottetal. ,2019 ),与抑郁症的发生也有密切的关系( Chungetal., 2019 ; Rehbeinetal. , 2025 )。

虽然内分泌系统和免疫功能的很多生物化学指标都与人们的心理状态,尤其是情绪状态密切相关,但是由于这些指标的测量都需要通过采集唾液、血液或者尿液等体液,并使用专门的仪器设备进行离线的物质成分分析,不但成本高,而且耗时费力,所以这些指标通常应用于临床医学或临床心理治疗和研究领域,目前很少应用到生理计算和情感交互领域。但是,近年来,随着电子皮肤技术的发展,已经开发出使用复合材料的柔性可穿戴电化学传感器,能够提供超过 100 小时汗液生物标志物(葡萄糖、乳酸、尿酸、钠离子、钾离子和铵)的分析,具有很高的稳定性( Xu ,Song , Sempionatto ,etal.,2024 )。

03

️参考书籍

️作

️者

️简

️介