多模态研究

participant in multi modal research

通过多模态数据采集,探索更多,并轻松进入传感器数据分析的世界

多模态研究是什么?

多模态研究是一种科学方法,结合不同的方法和数据类型,以获得对复杂现象更广泛和深入的见解。该研究方法利用多种模态,意味着通过整合不同类型的数据和方法,从多个角度阐明一个研究课题。

不同数据类型的整合

  • 定量数据:基于数字的数据,可以进行统计分析。
  • 定性数据:以文本, 图像或视频形式呈现的描述性数据, 采用描述性方法进行分析。

使用不同的研究方法

  • 实验方法:通过控制实验来研究因果关系。
  • 观察方法:在自然环境中对行为和互动进行直接观察。
  • 调查方法:通过问卷, 访谈和调查收集意见和经验。

不同学科的整合

多模态研究通常是跨学科的,结合了心理学, 社会学, 计算机科学, 神经科学等不同科学领域的研究成果。典型的应用领域包括:

  • 人因研究
  • 可用性和用户体验(UX)研究
  • 游戏研究
  • 市场研究
  • 人体工学
  • 神经营销
  • 等等...

多模态研究的优势

  • 整体性理解:通过结合不同的数据来源和方法,研究人员能够对复杂现象形成更全面和细致的理解。
  • 有效性提升:通过结合多种方法和数据来源,能够发挥各自方法的优势,从而提高研究结果的有效性。
  • 更广泛的视角:多模态研究使研究人员能够从不同的科学视角看待问题,从而获得新的见解。

多模态研究的案例

  • 教育研究:通过结合标准化测试结果(定量数据)和对教师与学生的访谈(定性数据),分析学生的表现,从而获得对教育质量的全面认识。
  • 医学研究:通过结合基因数据,临床测试结果和患者访谈,研究疾病的进展。
  • 认知神经科学:通过结合成像技术(如fMRI, EEG), 行为研究和心理测量测试,研究大脑的过程。
  • 技术开发:通过分析用户数据, 观察用户互动以及收集用户的定性反馈,开发和改进人机交互系统。

多模态研究的挑战包括

  • 复杂性:整合不同的方法和数据类型需要仔细的规划与协调。
  • 数据管理:处理大量异构数据对数据处理和分析提出了很高的要求。
  • 跨学科合作:通常需要不同学科研究人员的合作,这可能会带来组织和沟通上的挑战。

总的来说,多模态研究是一种强有力的方法,能够捕捉现实世界的复杂性,并获得有依据且全面的见解。

人因研究中的多模态数据采集

人因研究是什么 ?

人因研究关注人类行为和过程,包括人类的能力和局限性,目的是开发最符合人类需求的设计和流程。

在人因研究领域,研究人员正试图解答的一些最紧迫的问题: 

  • 我们如何设计技术和系统,使其更加用户友好且直观易用?
  • 我们如何提高航空, 医疗和交通等复杂系统的安全性和效率?
  • 我们如何设计工作场所,以促进员工的福祉, 生产力和创造力?
  • 我们如何考虑人工智能, 自动化和虚拟现实等新技术对人类表现和行为的影响?
  • 我们如何理解并考虑年龄, 文化和个体差异在不同情境下对人类表现和行为的影响?
  • 我们如何在高压力, 高风险的环境中促进有效的沟通与团队合作?
  • 我们如何设计既有效率又具有吸引力的培训和教育项目?
  • 我们如何评估用于提升人类表现和行为的措施和技术的有效性?
  • ...

简而言之,人因研究是关于人类如何与技术, 系统和环境进行互动的研究。

Human Factors Research Testperson

这些问题与实际挑战相关,并对提升人类福祉, 生产力和安全性产生影响。

人因领域的研究可以带来切实可行的解决方案和创新, 惠及个人, 组织乃至整个社会。

为人因研究同步多种数据模态

同步记录所有这些数据是主要的挑战,但功能齐全的Mangold人因实验室使这一过程成为可能并易于管理。

另一个经常被低估但同样重大的挑战是,以同步的方式回放和审查所有收集到的数据流,以找到相关且可行的结果。

Mangold Human Factors Research neuroscience study

为了解决这些挑战,Mangold人因实验室包含了一系列根据您的需求量身定制的软件模块组合: Mangold VideoSyncPro Studio, Mangold INTERACT,  Mangold DataView, 甚至可能还包括 Mangold Vision h和 Mangold LogSquare. 

此外,根据您的具体需求,还将包括各种硬件设备,如摄像机、生理传感器,甚至可能还有眼动追踪仪。这些软件和硬件包紧密协作,实现不同数据模态的集成。

在Mangold人因研究实验室中集成多种数据模态

在记录过程中, Mangold VideoSyncPro Studio 是每个 Mangold 人因实验室的关键核心。

它可以同步记录多个音频和视频源,接受来自不同来源的标记,充当回顾站,并能向第三方记录设备发送信号,从而插入同步条目。

人因实验室组件之间的同步

Mangold VideoSyncPro Studio 可以通过多种方式向外部记录设备发送“录制开始”信号:通过网络使用UDP协议,通过USB开关结合专用电缆连接到外部记录设备,通过键盘信号用于与VideoSyncPro Studio运行在同一台计算机上的应用程序,或通过二进制LTP端口信号和专用电缆。

还可以使用UDP信号从外部应用程序远程控制VideoSyncPro Studio。例如,如果该外部应用程序可以发送自定义UDP命令,您可以通过这种方法在外部启动录制。

最后,激活预设以自动调整一个或多个摄像机的位置时,会在录制日志文件中插入标记,作为视觉参考并标识位置变化。从外部设备或第三方软件产品捕获或生成的外部事件也可以自动插入为标记,或者事后导入。

将观察添加到人因研究的测量中

每个 Mangold 人因实验室都配备了 Mangold Remote Observer。这一附加功能允许您监督并完全远程控制 Mangold VideoSyncPro Studio 录制站上的录制会话。

通过手持设备,您可以启动和停止录制,在会话过程中记录标记,并使用预设功能控制摄像机。

Multiple Remote Observers 可以连接到同一会话,以便从不同的角度记录独立的观察,或者让每个观察者专注于不同的参与者。

会话结束后,您可以通过 Mangold VideoSyncPro Studio 的标记和回顾功能,进一步丰富您的实时观察记录。

或者,您可以将实时标记转移到 Mangold INTERACT 中,以使用更精细的观察,确保精准的时序,并在需要时使用层级编码系统。Mangold INTERACT 允许您进行更加详细的分析,并能够同时仔细检查所有来源。

整合观察与基于传感器的测量的优势

首先,测量值可以根据特定通道中的数值,自动生成事件到 Mangold INTERACT 中。

此功能使您能够精确查看视频中的那些序列,或者检查在某个数值特定下降或上升之前的最后几秒内发生了什么,等等。

例如,当参与者的心率上升到90次/分钟以上时,您可以检查:(a) 是否有任何视觉上的迹象表明心率增加,(b) 在这个阈值被突破前的最后30秒内发生了什么。

其次,您可以将用于观察的编码快速直接转移到原始测量数据中。此功能将所有分配给特定时间段的观察编码,应用于在这些时间段内精确测量的所有数值。

测量值与观察数据在这一原始数据层面的结合,使您能够立即根据观察到的行为计算总数、平均值、标准差等,或者通过像R这样的特殊统计应用程序对组合的数值和观察数据进行处理。

分析来自人因研究实验室的多维数据

对于 Mangold 人因研究实验室来说,软件模块 Mangold INTERACT 是进行多维数据分析的核心应用。通过其外部数据可视化模块 Mangold DataView 我们可以创建动态图表,将捕获的数值数据与您的视频同步运行。

将基于测量值自动生成的事件与手动记录的观察相结合,并应用可用的时间相关数据挖掘功能,能够帮助您充分利用所收集的所有数据。

使用 Mangold INTERACT,您可以做很多事情,例如确定应急情况,查找特定的共现,生成所有信息重叠的编码段,或运行序列分析程序。

Human Factors Research students

手动调整所有数据流 (包括视频) 的偏移量, 精确到毫秒级别!

正如之前讨论的那样,同步所有数据流对于深入分析至关重要。理想情况下,这种同步应在录制和导入过程中完成。

即便如此, Mangold INTERACT 及其外部数据可视化模块 Mangold DataView 仍提供了多种机制,允许您手动同步观察数据、视频和外部记录的数据值。您可以精确到毫秒级别地调整任何数据流(包括视频)的所需偏移量。

人因研究中的“12种人为错误” (Dirty Dozen)

“12种人为错误” (Dirty Dozen) 是由航空业开发的一份清单,概述了导致安全事故和事件的十二种常见人为错误来源。它最初由戈登·杜邦(Gordon Dupont)在加拿大交通部(Transport Canada)管理的项目中提出,并已在多个行业中确立为一种重要的培训工具,用于促进安全文化。

人因研究中的“12种人为错误”(Dirty Dozen)最初是为航空业开发的,但在许多其他领域也具有相关性

以下是“12种人为错误” (Dirty Dozen) 的的简要概述:

  • 缺乏沟通:沟通不足或不清晰的沟通可能导致误解和关键信息丢失,从而危及安全。
  • 疲劳:疲劳会降低专注力和判断力,从而增加错误发生的可能性。
  • 缺乏团队合作:糟糕的团队合作可能导致工作流程低效和误解,进而危及安全。
  • 分心:意外的干扰或中断可能使注意力从重要任务上转移,进而导致错误的发生。
  • 缺乏资源:资源不足或不充足,例如工具, 时间或人员短缺,可能导致临时解决方案和潜在的不安全工作方式。
  • 压力:时间或绩效压力可能导致匆忙做出决策,从而增加错误发生的可能性。
  • 自满:对自身能力或最佳实践的过度自信可能导致低估风险和忽视安全防范措施。
  • 缺乏确认:未能核实重要信息或操作可能导致错误未被发现并进一步升级。
  • 糟糕的人机工程学: 不适当的工作条件或设备可能导致身体压力、错误和伤害。
  • 缺乏知识:对程序, 设备或情况的知识或培训不足,可能导致员工做出不安全的决策。
  • 注意力不足:当人们依赖例行任务时,警觉性可能减弱,导致问题迹象被忽视。
  • 标准:非正式的压力促使接受不符合规定程序的工作方式,可能导致不安全的操作,最终引发事故。

为什么“12种人为错误” (Dirty Dozen) 如此重要?

“12种人为错误” 有助于提高对影响不同工作环境安全的人为因素的认识。它们作为一个清单和培训工具,用于识别和减少风险,促进强大的安全文化。通过了解并应对这十二种危险,我们可以预防事故,使工作环境更安全。

人因研究实验室与多模态数据

为了回答这些复杂的问题,需要收集大量不同类型的数据。

测量人体对环境中不同刺激的各种信号是这类数据的一部分,观察参与者在日常工作中的表现是另一部分。

有时,与我们互动的设备(如计算机、眼动数据、模拟站等)发出的信号也会被纳入数据池中。

通过测量并整合这些生理信号与现实生活中的观察相结合,我们可以更好地理解有意识和无意识的反应。

在人类研究中可能感兴趣的典型模态包括:

  • 录制的视频
  • 与其他摄像机同步录制的屏幕录制
  • 在录制过程中收集的标记和备注
  • 由人工观察者记录的行为事件
  • 由第三方数据采集系统记录的生理信号
  • 来自眼动追踪器的眼动数据
  • 来自其他程序的数据,这些程序可以提供带有时间信息或固定采样率的文本文件。
  • 例如,由 Mangold LogSquare 记录的击键, 鼠标点击和其他事件。
  • 面部表情,可由人工手动记录或通过人工智能自动识别。

 

将各种收集到的数据进行时间同步整合,对于在不同情境中全面理解这些过程至关重要。

因此,Mangold 人因研究实验室通常包含多种设备,用于记录视频和音频信号, 生物心理测量, EEG 数据, 眼动追踪数据以及刺激生成器。

可用性和用户体验研究中的多模态数据采集

Mangold Observation Studio 可用于评估各种情境下的可用性和用户体验。

用户体验(User Experience)和可用性(Usability)是什么?

用户体验(UX)和可用性关注的是设计和优化人与数字产品之间的互动,以确保积极、直观且高效的用户体验。

可用性专注于产品的功能性和用户友好性——换句话说,就是产品的易用性和效率。

用户体验(UX)则关注整个用户的使用体验,不仅包括可用性,还涵盖情感、期望和整体满意度等其他因素。

尽管可用性是用户体验的一部分,但用户体验是一个更广泛的概念,既包含功能性,也包括用户与产品互动中的情感和美学方面。

用户体验(UX)和可用性领域的研究人员正在尝试回答的一些关键问题包括:

  • 我们如何设计数字产品和系统,使其更加直观和用户友好?
  • 我们如何在用户与复杂系统(如网站、移动应用程序和软件解决方案)交互时提高用户的满意度和效率?
  • 我们如何设计数字化工作环境,以促进身心健康、提高生产力和激发创造力?
  • 我们如何考虑人工智能, 自动化和增强现实等新技术对用户行为和体验的影响?
  • 我们如何更好地理解来自不同背景, 文化和年龄群体的用户的不同需求和期望,并将其融入设计流程中?
  • 我们如何在高负荷和高压力的环境中开发有效的沟通策略和用户界面?
  • 我们如何设计高效, 有趣且以用户为中心的培训和学习项目?
  • 我们如何评估和衡量提升用户体验和可用性的措施和技术的有效性?

简而言之,用户体验(UX)和可用性涉及用户如何与数字产品和系统互动,以及如何优化这些互动。

为什么用户体验(UX)和可用性重要?

这些问题涉及现实世界中的挑战,并对提高用户满意度、生产力和数字世界中的效率产生重大影响。用户体验(UX)和可用性方面的研究可以带来创新的解决方案,这些解决方案不仅对用户有益,也对公司和整个社会产生积极影响。

用户体验(UX)和可用性实验室:收集和分析用户数据

为了回答这些复杂的问题,收集和分析各种数据模态。这些包括生理信号, 眼动追踪数据, 鼠标移动, 点击行为以及来自用户的定性反馈。

通过收集和整合这些不同的数据来源,可以更好地理解用户的有意识和无意识反应。

在用户体验(UX)研究中,可能感兴趣的典型模态包括:

  • 记录用户与产品互动的视频
  • 与其他摄像机同步录制的屏幕录制视频
  • 用户操作,例如击键和鼠标点击
  • 由人工评估者进行的行为观察
  • 生理信号,例如心率或皮肤导电性,以记录情感反应
  • 来自眼动追踪器的眼动数据,用于分析视觉注意力
  • 来自其他程序的数据,这些程序提供时间信息

对这些数据进行同步整合对于全面理解用户体验在不同情境中的表现至关重要。

用户体验研究工具:Mangold Observation Studio

Mangold Observation Studio 是一款用于用户体验研究的创新软件,专注于多模态数据的收集和分析。

使用 Mangold Observation Studio, 您可以高效且有效地进行用户体验研究,通过时间同步的方式录制视频、生理数据、屏幕活动和用户互动等各种数据。

实时视图使所有利益相关者,如用户体验设计师, 研究人员, 产品经理或开发人员,能够实时跟踪数据。

Mangold Observation Studio 提供了用户友好的“一键式”解决方案,具有丰富的功能,以提升用户体验研究的效果。

通过专业可用性研究实现成功产品

成功的公司有一个共同点:他们的产品受到客户的高度重视。而原因是什么呢?通常,关键因素就是用户友好性,也就是说,可用性。

无论是网站, 软件程序, 智能手机还是机器——在开发产品和服务时,始终应关注使用它们的人。

然而,许多机器或程序的开发者往往沉迷于对技术的热爱,导致功能过剩。

但实际上,大多数产品并未充分发挥其潜力。它们往往处于次要地位,甚至不是市场成功的决定性因素。

关键因素和竞争中的独特卖点在于直观的操作——即可用性。

Success factor usability with Mangold LogSquare

因此,用户友好性是产品成功的决定性因素。为了实现这一附加值,产品的开发和实施应是首要目标。

因为:用户友好的产品可以成为竞争中的优势所在,而且这些产品的重要性正在增加。原因在于,用户将可用性作为购买标准之一。无论是最终用户还是B2B关系,都是如此。将可用性融入产品中的供应商能够实现更高的客户满意度,因此在市场上尤其成功

用户友好的产品减少了学习时间,最小化了操作错误,增加了工作产出,并加快了工作流程。

高可用性支持用户快速、准确地完成任务,并让他们感到满意,这有助于直观地实现目标。

联系我们以获取更多信息

让我们一起找到您理想的用户体验和可用性实验室解决方案。

Mangold International 拥有多年的经验,并为可用性和用户体验实验室的建设与运营开发了专业解决方案。

Mangold 可用性实验室是进行观察性研究的理想解决方案。使用我们的解决方案,您可以直接从客户的角度进行观察。

我们的解决方案的用户可以包括大学、服务公司、金融服务提供商、旅游供应商、游戏制造商、网络门户运营商、酒店和餐饮企业以及工业公司。

应用的想象力没有限制。

联系我们以获取更多信息