Title: Effects of audiovisual temporal synchronization on visual experience of the non-dominant eye
Journal: Cognitive Processing
Authors: Hikari Takebayashi, Yuji Wada
Abstract: Audiovisual integration occurs automatically and affects visual processing. This study aims to investigate whether temporally synchronized auditory signals enhance monocular signals during binocular observation. In Experiment 1, 16 participants performed a visual target localization task. A mirror stereoscope was used to present a rapid serial visual presentation (RSVP) stream of distractors to both eyes, with a visual target inserted in either both eyes, the dominant eye, or the non-dominant eye. Continuous low tones synchronized with distractors were paired with the target as either the same low tone (non-salience) or a high tone (salience). Detection facilitation rates by tone type were analyzed through multiple comparisons. Results showed a significant detection enhancement only when the target appeared in the non-dominant eye. In Experiment 2, involving 16 participants, a similar RSVP was presented, but with an orientation discrimination task for parafoveally presented texture stimuli comprising 17 vertical Gabor patches. The angle and proportion of tilted patches were manipulated simultaneously, and logistic regression was used to estimate orientation discrimination thresholds. Contrary to predictions, salient tones did not reduce the thresholds. These findings suggest that temporally synchronized auditory signals can selectively enhance the monocular processing of weaker visual signals (i.e., non-dominant eye signals) before binocular fusion, particularly for spatial localization. However, these effects did not extend to the identification of visual content (i.e., orientation) or stable visual signals (i.e., dominant or binocular). The results highlight the role of audiovisual integration in supporting unstable monocular signals and suggest potential applications in low vision training.
視聴覚統合は自動的に生起し、視覚処理に影響を与えることが知られている。本研究では、時間的に同期した聴覚刺激が、両眼観察中における一眼の視覚信号を増強するかどうかを検討した。実験1では、16名の参加者が視覚的ターゲットの位置を特定する課題を行った。ミラーステレオスコープを用い、両眼に対して視覚的な妨害刺激（distractor）を高速連続呈示（RSVP）し、ターゲット刺激を両眼、優位眼、または非優位眼のいずれかに提示した。連続的な低音を妨害刺激と同期させ、ターゲット提示時には同一の低音（非顕著条件）または高音（顕著条件）を用いた。音の種類による検出促進率を多重比較により分析した結果、非優位眼にターゲットが提示された場合のみ、有意な検出促進効果が認められた。実験2では、同様に16名の参加者に対し、周辺視野に呈示された17個の垂直ガボールパッチからなるテクスチャ刺激の方位弁別課題を実施した。傾いたパッチの角度と割合を同時に操作し、ロジスティック回帰により方位弁別閾を推定した。その結果、顕著な音提示は弁別閾を有意に低下させなかった。これらの結果は、時間的に同期した聴覚刺激が、両眼融合前の比較的弱い視覚信号（非優位眼）を選択的に増強しうることを示唆する。ただし、その効果は視覚刺激の空間的位置特定に限られ、内容の識別（方位）や安定した視覚信号（優位眼または両眼）には及ばなかった。本研究は、不安定な一眼視覚信号の補助における視聴覚統合の役割を明らかにするとともに、今後のロービジョン訓練への応用可能性を示唆するものである。（GPT4による邦訳）