CV 现在真的不得了了,大家关注的都是算法,单纯从应用场景上看到两篇有意思的。
- Fantastic Answers and Where to Find Them: Immersive Question-Directed Visual Attention.
视觉注意力的两种分析法:
- 自上而下(Top-down):由任务驱动的,给被试一项任务,然后看被试在环境中的注意力分配,是人因工程研究的;
- 自下而上(Bottom-up):由实验刺激(stimulus)驱动的,不关注被试,通过实验刺激的基本属性来直接预测被试的注意力分配,就是CV搞的。
说穿了,自下而上关注的是人,自上而下关注的是机器,正好是反着来的。对应的也就是人因工程和机器学习这两个方向。
这篇文章,首先做了自上而下的分析,让一群被试带着360度的VR设备,内嵌有眼动仪。然后让他们看着提供的视觉刺激,来回答一些问题,比如问他们图片里有几个人。然后发现回答正确和回答错误的人的注视区域是不一样的。
接着做了自下而上的分析,就是直接用他们的算法,根据视觉刺激来进行注意力预测。
最终发现,在忽视被试的情况下,单纯用他们的算法来对视觉刺激进行注意力预测,和用人来做实验看他们的注意力区域,是很接近的,而且适用于回答正确和回答错误两种情况,这个就有点神了。
2017年有一篇发在CVPR上的paper,原理类似,直接用视频来简单粗暴地预测司机的注意力分析,效果还可以。
2. Bringing Old Photos Back to Life.
是修复有折损的老照片的,折痕和噪点修复的都很好。
Reference:
- Jiang, M., Chen, S., Yang, J., & Zhao, Q. (2020). Fantastic Answers and Where to Find Them: Immersive Question-Directed Visual Attention. InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(pp. 2980-2989).
- Palazzi, A., Abati, D., Solera, F., & Cucchiara, R. (2018). Predicting the Driver's Focus of Attention: the DR (eye) VE Project.IEEE transactions on pattern analysis and machine intelligence,41(7), 1720-1733.
- Wan, Z., Zhang, B., Chen, D., Zhang, P., Chen, D., Liao, J., & Wen, F. (2020). Bringing Old Photos Back to Life. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2747-2757).