Computational modeling for visual attention analysis
Xu, Yingyue (2020-05-29)
https://urn.fi/URN:ISBN:9789526226408
Kuvaus
Tiivistelmä
Abstract
Visual scenes typically contain massive amounts of content that cannot be processed in a short time due to the limited processing capacity of the human visual system. The term, visual attention, is a biologically inspired and psychologically driven mechanism that works by selecting visually relevant information and filtering out the redundant contents.
This thesis is a thorough summary of the main subjects around computational modeling for visual attention analysis, consisting of several published papers corresponding to my research progress. First, the data preparation for computational modeling will be introduced, including eye movement data, eye tracking data collection and eye tracking datasets facilitating the evaluation of computational modeling of visual attention. Second, computational models for visual attention analysis, or saliency models, are presented from traditional unsupervised methods to deep saliency models. Third, the subject about saliency integration will be illustrated that unifies multiple saliency maps from the multiple candidate saliency models for better accuracy.
The contributions of this study are three folds. Firstly, we collect a task-driven eye tracking dataset for visual attention analysis. Secondly, we propose three saliency models for in-depth investigation in modeling visual attention, including an unsupervised model using the bi-directional propagation method, a Convolutional Neural Networks based model by connecting the Dense Conditional Random Fields for multi-scale saliency refinement, and a Convolutional Neural Networks based model with cascade Conditional Random Fields for joint model training. Thirdly, we propose a saliency integration method and conduct comprehensive experiments and analysis on the topic.
Finally, we summarize the contributions of the work and propose the potential applications of saliency models and the extended saliency related topics to boost applications of saliency approaches on other computer vision topics.
Tiivistelmä
Kuvat sisältävät tyypillisesti valtavan määrän informaatiota, jota ei pystytä prosessoimaan lyhyessä ajassa ihmisen näköjärjestelmän rajoitetun prosessointi kapasiteetin takia. Termi, visuaalinen huomio, on biologian ja psykologian motivoima mekanismi, joka toimii valiten oleellisen informaation ja suodattaen ylimääräisen informaation.
Mallintaaksemme huomio mekanismia konenäön käyttöön on olennaista, että laskennallinen malli visuaaliselle huomiolle ehdottaa tärkeät alueet kuvista, jotka ihmisen näköjärjestelmä on nähnyt.
Tämä väitöskirja on perusteellinen yhteenveto tärkeimmistä osa-alueista liittyen visuaalisen huomion analyysin laskennalliseen mallintamiseen, koostuen useasta julkaisusta vastaten minun tutkimukseni etenemiseen. Ensimmäiseksi, esittelemme datan esikäsittelyn laskennallista mallia varten, mukaan ottaen silmänliike datan, silmänjäljitys datan kerääminen ja silmänjäljitys tietokantojen hyödyntäminen visuaalisen huomion laskennallisen mallien evaluoinnissa. Toiseksi, laskennalliset mallit visuaalisen huomioon, tai tärkeys mallit, esitellään perinteisistä ohjaamattomista menetelmistä syviin tärkeys malleihin. Kolmanneksi, havainnollistamme tärkeys integraation, joka yhdistää useita tärkeys ehdotuksia useista eri tärkeys malli ehdokkaista, jolla saavutamme paremman tarkkuuden.
Kontribuutiomme ovat seuraavat kolme asiaa. Ensimmäiseksi, keräämme silmänjäljitys tietokannan visuaalisen huomion analyysiin. Toiseksi, ehdotamme kolmea tärkeys mallia visuaalisen huomion perusteelliseen tarkasteluun, sisältäen ohjaamattoman mallin, joka käyttää kaksisuuntaista etenemismallia, konvoluutioneuroverkko pohjainen malli, joka yhdistää syvän ehdollisen satunnaiskentän monitaso tärkeys tarkistukseen, ja konvoluutioneuroverkko pohjainen malli ehdollisella sarja satunnaiskentällä usean mallin yhteisopetukseen. Kolmanneksi, ehdotamme tärkeys integraatio menetelmää ja suoritamme kattavia testejä ja analyysejä aiheesta.
Lopuksi, tiivistämme kontribuution työstämme ja ehdotamme mahdollisia sovelluksia tärkeys malleista ja laajennamme tärkeys- aiheeseen liittyviä sovelluksia tehostamaan tärkeys menetelmiä eri konenäön aiheisiin.
Original papers
Original papers are not included in the electronic version of the dissertation.
Xu, Y., Hong, X., He, Q., Zhao, G., & Pietikäinen, M. (2015). A Task-Driven Eye Tracking Dataset for Visual Attention Analysis. In Advanced Concepts for Intelligent Vision Systems (pp. 637–648). Springer International Publishing. https://doi.org/10.1007/978-3-319-25903-1_55
Xu, Y., Hong, X., Liu, X., & Zhao, G. (2018). Saliency detection via bi-directional propagation. Journal of Visual Communication and Image Representation, 53, 113–121. https://doi.org/10.1016/j.jvcir.2018.02.015
Xu, Y., Hong, X., & Zhao, G. (2019). Salient Object Detection with CNNs and Multi-scale CRFs. In Image Analysis (pp. 233–245). Springer International Publishing. https://doi.org/10.1007/978-3-030-20205-7_20
Xu, Y., Xu, D., Hong, X., Ouyang, W., Ji, R., Xu, M., & Zhao, G. (2019). Structured modeling of joint deep feature and prediction refinement for salient object detection. 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019, pp. 3788-3797. https://doi.org/10.1109/ICCV.2019.00389
Xu, Y., Hong, X., Porikli, F., Liu, X., Chen, J., & Zhao, G. (2019). Saliency Integration: An Arbitrator Model. IEEE Transactions on Multimedia, 21(1), 98–113. https://doi.org/10.1109/tmm.2018.2856126
Osajulkaisut
Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon.
Xu, Y., Hong, X., He, Q., Zhao, G., & Pietikäinen, M. (2015). A Task-Driven Eye Tracking Dataset for Visual Attention Analysis. In Advanced Concepts for Intelligent Vision Systems (pp. 637–648). Springer International Publishing. https://doi.org/10.1007/978-3-319-25903-1_55
Xu, Y., Hong, X., Liu, X., & Zhao, G. (2018). Saliency detection via bi-directional propagation. Journal of Visual Communication and Image Representation, 53, 113–121. https://doi.org/10.1016/j.jvcir.2018.02.015
Xu, Y., Hong, X., & Zhao, G. (2019). Salient Object Detection with CNNs and Multi-scale CRFs. In Image Analysis (pp. 233–245). Springer International Publishing. https://doi.org/10.1007/978-3-030-20205-7_20
Xu, Y., Xu, D., Hong, X., Ouyang, W., Ji, R., Xu, M., & Zhao, G. (2019). Structured modeling of joint deep feature and prediction refinement for salient object detection. 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019, pp. 3788-3797. https://doi.org/10.1109/ICCV.2019.00389
Xu, Y., Hong, X., Porikli, F., Liu, X., Chen, J., & Zhao, G. (2019). Saliency Integration: An Arbitrator Model. IEEE Transactions on Multimedia, 21(1), 98–113. https://doi.org/10.1109/tmm.2018.2856126
Kokoelmat
- Avoin saatavuus [38824]