导航:X技术最新专利办公文教;装订;广告设备的制造及其产品制作工艺
本发明针对阅读障碍儿童注视时间长、眼动轨迹混乱、注意力分散等问题,提出基于眼动追踪与OCR识别的辅助装置。通过实时捕捉眼动数据,结合可调节色彩叠层区与动态指示光标,引导视线聚焦并优化阅读路径,同步上传数据辅助训练。
1.本发明涉及阅读辅助技术领域,尤其是基于眼动追踪的阅读障碍儿童辅助装置及其使用方法。
2.国内外在对阅读辅助的研究中逐步引入了阅读时眼动数据这一指标。研究发现,阅读存在障碍的儿童阅读时注视时间较长、注视、凝视次数较多,眼动轨迹混乱,注意力难以集中在文字上,无法定位阅读位置,因此实时眼睛浏览停留位置和眼动轨迹的捕捉能为阅读训练提供辅助。
通常是指将彩色的透明塑料阅读纸放置在阅读文本上,在光线进入人眼的过程中,利用视觉效应起到减轻阅读障碍者阅读时产生的视觉疲劳的作用。
但不同的人在对透明塑料片的色彩偏好、适应性上表现出明显的个体差异,若未使用正确的色彩,则无法起到较为明显的作用。甚至有时色彩饱和度与亮度的细微差别也可能带来不同的结果。
现有色彩叠层法的应用方式主要包括实体与虚拟两种,实体通常指手动在阅读文本上放置色膜缓解相关症状的方法(如前述透明彩色塑料片的使用);虚拟则指基于该原理处理电子屏幕中文本的方法(如使用word工具栏为文本填充底色)。
实体具有便于携带、应用场景广泛的优点,但使用者需手持色膜固定于文本之上,同时其可供选择的色彩较少、参数无法改变,难以寻找最适合自己的颜色。
虚拟色彩叠层应用在色彩参数的调节方面具有较高自由度,但需要大量阅读文本的群体中学生占比高,而这类人群日常生活中实体文本的阅读量远高于电子本文,虚拟系统难以满足这一需求。
此外,研究阅读障碍者的眼动轨迹发现,当阅读完一行文本后,阅读障碍者很难像普通人一样控制自己的视线准确落在下一行文本的开头处,如能以适当标记加以引导,将会有助于这些人群阅读。
本发明提出基于眼动追踪的阅读障碍儿童辅助装置及其使用方法,能训练儿童读者的阅读专注能力。
基于眼动追踪的阅读障碍儿童辅助装置,用于吸引阅读儿童读者的视线以辅助阅读,所述辅助装置包括以可固定调节杆相连的上部组件和下部组件;所述下部组件包括用于固定读物的装夹装置,还包括底座,底座处设有用于追踪读者眼球运动的眼动传感器;所述上部组件包括摄像组件和用于在读物阅读页面处投影色彩叠层区和指示光标的投影组件,所述指示光标用于引导读者视线,摄像组件用于检测读物的阅读页面,所述投影组件与
摄像组件、眼动传感器相连,根据摄像组件、眼动传感器的检测数据来对指示光标进行调整。
所述摄像组件包括基于ocr识别生成检测结果的数据处理模块;辅助装置工作时,投影组件根据摄像组件的检测结果,把指示光标投射至阅读页面的文字处并移动指示光标,同时跟据眼动传感器的追踪数据,调节指示光标的移动方式和闪动频率。
所述投影组件投影还在阅读页面处投影用于吸引读者注意力的色彩叠层区;所述色彩叠层区为大尺寸色块,其颜色、亮度可通过叠层区调整开关调节;投影组件的指示光标位于色彩叠层区内,所述指示光标为小尺寸色块。
所述辅助装置还包括通讯模块;所述通讯模块以蓝牙或无线联网方式与外部移动设备相连,把辅助装置的工作数据上传至外部移动设备app。
所述装夹装置设于底座底部,所述装夹装置为设于底座前端的书夹;书夹内设有可拉出并可调节书夹角度的伸缩杆。
基于眼动追踪的阅读障碍儿童辅助装置的使用方法,所述使用方法包括以下步骤;步骤s1、以装夹装置把读物固定于辅助装置处,使读物的阅读页面平整;步骤s2、调整可固定调节杆的长度,使投影模块的投影范围能覆盖阅读页面,调整底座位置使眼动传感器的探测方向指向儿童读者眼部,锁定可固定调节杆;步骤s3、启动辅助装置,投影组件通过摄像组件对阅读页面进行识别,判定阅读页面所在位置,并在阅读页面处投射色彩叠层区;儿童读者根据喜好调整色彩叠层区的颜色和亮度;步骤s4、眼动传感器对儿童读者眼部进行探测,当探测到儿童读者开始观看阅读页面时,摄像组件识别文字区域,投影组件在文字区域的文字处投影指示光标来指示儿童读者视线,按文字内容的先后及儿童读者的眼动数据来移动指示光标;步骤s5、在儿童读者阅读期间,眼动传感器实时检测其眼动状态,投影组件根据眼动传感器的检测数据改变指示光标的跳动频率;步骤s6、在儿童读者阅读期间,通讯模块以蓝牙或无线联网方式与外部移动设备相连,把儿童读者的阅读数据上传至外部移动设备app。
阅读数据包括凝视时间较长字词、阅读练习时间、阅读请况、眼球运动指标数据。
步骤s4、步骤s5的方法具体为:当儿童读者开始阅读时,摄像组件通过ocr文字识别技术拍照识别阅读文本,投影组件依据识别结果投射小型色块形成指示光标、并按照设定速度逐个高亮阅读书页文本中的单词,引导儿童读者阅读;当儿童视线位置偏离形成异常的眼球动作时,异常的眼球动作会被眼动传感器采集并传输至投影组件的数据处理模块,此时高亮区域不再按正常文本顺序跳动,而是会回到儿童视线偏离前的视觉焦点,帮助重新定位正确阅读位置。
本发明利用眼动追踪技术与ocr文字识别技术收集并处理的数据,形成基于阅读训练的高亮指示辅助法进行阅读训练指导的辅助装置,本发明面对阅读障碍儿童在阅读时产生的不同情况时能有相应的引导方式;同时,眼动追踪技术采集到的数据可处理成量化报告,为阅读训练提供参考。
本发明运用眼动追踪技术和ocr文字识别技术,能实现对儿童阅读障碍的有效缓
解,以产品读取识别文字模块和高亮投映指引模块实现对儿童阅读专注力的引导和培养,以产品眼动定位收集模块和数据反馈建议模块帮助家长了解儿童阅读情况。
本发明以用户体验为基础,结合了理论与实践,丰富阅读障碍领域训练设备的种类,为阅读障碍儿童发展提供更好的帮助,为辅助训练设备设计提供拓展思维。
下面结合附图和具体实施方式对本发明进一步详细的说明:附图1是本发明的示意图;附图2是本发明的使用流程示意图;附图3是本发明的硬件原理示意图;图中:1-投影组件;2-摄像组件;3-眼动传感器;4-装夹装置;5-底座;6-可固定调节杆;7-叠层区调整开关;8-电源开关。
如图所示,基于眼动追踪的阅读障碍儿童辅助装置,用于吸引阅读儿童读者的视线以辅助阅读,所述辅助装置包括以可固定调节杆6相连的上部组件和下部组件;所述下部组件包括用于固定读物的装夹装置4,还包括底座5,底座处设有用于追踪读者眼球运动的眼动传感器3;所述上部组件包括摄像组件2和用于在读物阅读页面处投影色彩叠层区和指示光标的投影组件1,所述指示光标用于引导读者视线,摄像组件用于检测读物的阅读页面,所述投影组件与摄像组件、眼动传感器相连,根据摄像组件、眼动传感器的检测数据来对指示光标进行调整。
所述摄像组件包括基于ocr识别生成检测结果的数据处理模块;辅助装置工作时,投影组件根据摄像组件的检测结果,把指示光标投射至阅读页面的文字处并移动指示光标,同时跟据眼动传感器的追踪数据,调节指示光标的移动方式和闪动频率。
所述投影组件投影还在阅读页面处投影用于吸引读者注意力的色彩叠层区;所述色彩叠层区为大尺寸色块,其颜色、亮度可通过叠层区调整开关7调节;投影组件的指示光标位于色彩叠层区内,所述指示光标为小尺寸色块。
所述辅助装置还包括通讯模块;所述通讯模块以蓝牙或无线联网方式与外部移动设备相连,把辅助装置的工作数据上传至外部移动设备app。
所述装夹装置设于底座底部,所述装夹装置为设于底座前端的书夹;书夹内设有可拉出并可调节书夹角度的伸缩杆。
基于眼动追踪的阅读障碍儿童辅助装置的使用方法,所述使用方法包括以下步骤;步骤s1、以装夹装置把读物固定于辅助装置处,使读物的阅读页面平整;步骤s2、调整可固定调节杆的长度,使投影模块的投影范围能覆盖阅读页面,调整底座位置使眼动传感器的探测方向指向儿童读者眼部,锁定可固定调节杆;步骤s3、启动辅助装置,投影组件通过摄像组件对阅读页面进行识别,判定阅读页面所在位置,并在阅读页面处投射色彩叠层区;儿童读者根据喜好调整色彩叠层区的颜色和亮度;
步骤s4、眼动传感器对儿童读者眼部进行探测,当探测到儿童读者开始观看阅读页面时,摄像组件识别文字区域,投影组件在文字区域的文字处投影指示光标来指示儿童读者视线,按文字内容的先后及儿童读者的眼动数据来移动指示光标;步骤s5、在儿童读者阅读期间,眼动传感器实时检测其眼动状态,投影组件根据眼动传感器的检测数据改变指示光标的跳动频率;步骤s6、在儿童读者阅读期间,通讯模块以蓝牙或无线联网方式与外部移动设备相连,把儿童读者的阅读数据上传至外部移动设备app。
阅读数据包括凝视时间较长字词、阅读练习时间、阅读请况、眼球运动指标数据。
步骤s4、步骤s5的方法具体为:当儿童读者开始阅读时,摄像组件通过ocr文字识别技术拍照识别阅读文本,投影组件依据识别结果投射小型色块形成指示光标、并按照设定速度逐个高亮阅读书页文本中的单词,引导儿童读者阅读;当儿童视线位置偏离形成异常的眼球动作时,异常的眼球动作会被眼动传感器采集并传输至投影组件的数据处理模块,此时高亮区域不再按正常文本顺序跳动,而是会回到儿童视线偏离前的视觉焦点,帮助重新定位正确阅读位置。