盲人和低视力 (BLV) 人士经常使用声音进行导航,例如通过回声定位或各种辅助技术。悉尼科技大学(UTS) 和仿生设备制造公司Aria Research 的科学家决定将两者结合起来,开发一种名为“声学触摸”的技术。当与智能眼镜结合使用时,声学触摸将用户面前的物体转换为听觉图标。

声学触摸使用头部运动头部位置也是回声定位的关键来指示播放哪些声音图标以支持对周围环境的探索。该论文的作者之一Howe Yuan Zhu将声学触摸描述为基于感觉-运动耦合的用户界面。在这种情况下,感觉反馈是由佩戴者的头部运动产生的。
他说,想象一下一个虚拟的圆锥体在人的头前延伸。该锥体区域中的任何对象都将用唯一的音频签名表示。“可穿戴眼镜可能仍然可以看到更多物体,但它只会将更窄视野内的物体传递给用户。” 他们的论文上个月发表在PLOS One上。研究小组还包括两名盲人研究人员。
研究人员对 14 名参与者7 名 BLV 个体和 7 名蒙眼视力正常者进行了界面测试,参与者均佩戴声学触摸智能眼镜。他们必须识别面前桌子上的物体。他们发现,BLV 参与者在识别和伸手拿物体方面表现良好,且不会增加脑力消耗。
传统上,可穿戴设备使用计算机视觉和计算机生成的语音来传递信息。然而,通过声学触摸,尽管眼镜可以检测佩戴者面前的一切,但“头部扫描”运动会创建一个“中间层”。这允许用户决定他们想要首先探索什么,然后进行选择。
“我们不确定的关键问题之一是头部运动的直觉程度如何,”Zhu说。“我们知道,在视觉中,它在我们观察房间的方式中发挥着关键作用……但通过音频,我们知道它发挥了作用,但不知道有多大。” 他们的观察表明,头部扫描运动并不需要大量的额外努力。“尽管这需要更多的体力劳动,但参与者仍然能够拿起它,并且仍然觉得它有些直观,”Zhu说。
在他们的研究中,他们还构建了一个基准平台,使用计算机视觉和对象识别算法来识别 120 多个对象。然而,在测试中,他们只使用了四个对象,以了解用户是否更喜欢使用界面来播放所有对象的图标,或者他们是否更喜欢使用头部运动来选择性地探索。“我们专注于理解,这是可以学习的吗?有人可以在与物体相似的声音之间建立心理联系吗?然后我们将其与言论进行比较,”朱说。“我们也不想完全放弃基于语音的界面。” 例如,为了识别特定的人,或者描述更复杂的物体,使用语音可能更简单。
他还澄清说,虽然他们的研究是关于声学触摸技术而不是制造智能眼镜这是 Aria Research 所做的事情,但他们确实做出了一些可能在未来相关的技术观察。例如,他们注意到头部旋转的速度可能非常重要。“如果用户扫得太快,他们更有可能错过物体,”Zhu说,“因为计算机视觉速度不够快。”
他说,自论文发表以来,他们一直在使用更真实的环境、更广泛的背景和更多的对象来继续研究。这包括使用声音图标来指示路径或绕过障碍物的迷宫导航。朱指出,使用计算机语音更有可能减慢人们的速度,因为人们需要停下来来处理它。“然而,”他补充道,“如果我们只播放提示车道的音频图标,人们实际上可以跟着走,就像使用它一样,让你跟着走。”
相关文章:
PMIC集成了CAN FD和LIN模块,使车身控制更简单
阻抗是什么意思?阻抗的计算公式以及和电阻的区别
s9013是什么电子元件?s9013参数/工作原理/引脚图及功能等中文资料
2023 年亚洲电子会议将重点关注推动亚洲半导体行业发展的物联网、人工智能/机器学习、汽车和无线发展
isp芯片和npu芯片的区别与联系
2019年开始,BAT既要决胜互联网下半场,同时又要备战AI的整个上半场
eml是什么文件格式?eml文件怎么打开?
德州仪器 (TI)推出新型隔离霍尔效应传感器--TMCS1123
智能眼镜或将使人类的回声定位成为可能
sp3485是什么电子元件?sp3485参数/工作原理/引脚图及功能等中文资料
英飞凌与 Neutron Controls 合作开发汽车 BMS 电池管理系统
Microchip推出具有嵌入式硬件安全模块的32位MCU
tda2030是什么电子元件?tda2030参数/工作原理/引脚图及功能等中文资料
EMC是什么意思?emc认证是什么认证?
带你了解整流器与整流桥的区别
rs232是什么接口?rs232和rs485的区别
原子振动频率是多少?原子振动频率计算公式
什么是燃料电池?燃料电池工作原理与种类
什么叫阻抗匹配?阻抗匹配原理、作用以及计算公式
RJ45是什么接口?rj45接口与rs485有什么区别
rs232电平标准多少伏,rs422电平标准以及rs232电平和TTL电平的区别
Energous的射频发射器为无电池的物联网传感器供电
什么是波特率?波特率单位以及计算
7项对未来影响极大的电子技术
ROHM 推出用于 GaN(氮化镓)器件的栅极驱动器 IC“BD2311NVX-LB”
tmp是什么格式文件?tmp文件用什么打开
tps5430是什么电子元件?tps5430参数/工作原理/引脚图及功能等中文资料
IPS是什么意思?isp芯片是什么芯片?
智能传感器为何能成为我国企业重点布局对象?
借助AI 联发科芯片欲重新杀回高端手机市场
NB-IoT技术在智能门锁应用潜力巨大
英飞凌最新的PSoC Edge 系列微控制器可加快神经网络处理速度
lm2576是什么电子元件?lm2576参数/工作原理/引脚图及功能等中文资料
DustPhotonics声称率先开发出800G硅光子芯片
什么是Wi-Fi HaLow?Wi-Fi HaLow 和 Wi-Fi 6 有什么区别?
调制解调器是什么?调制解调器的功能与作用
轴向磁通电机和径向磁通电机有什么区别?
华为一年发布三款7纳米芯片,展现强大技术实力
irf3205是什么电子元件?irf3205的参数/引脚图及功能和应用领域
华为手机nfc是什么意思?华为nfc是什么功能?
什么是sata接口?sata接口1.0/2.0/3.0/4.0的区别
怎么改ip地址?电脑ip地址怎么改?抖音IP地址怎么改?
2019医疗行业五大创新趋势预测,哪些领域值得关注?
什么是纳米技术?纳米技术有哪些用途
chiplet技术三大重要标准
rs422是什么接口?rs422是串口还是并口?是全双工还是半双工?
uc3842是什么电子元件?uc3842的参数/引脚图及功能和应用领域
CAN总线是什么意思?CAN总线工作原理以及CAN总线接口定义
TDK发布具有模拟输出/SENT协议的3D霍尔传感器HAL3927
什么是菲涅尔透镜?菲涅尔透镜和凸透镜的区别