Multimodal Access to Information Graphics: Improving Information Graphics Understanding for People with Visual Impairment

Informa(on ð graphics, ð such ð as ð bar ð charts ð and ð line ð graphs, ð generally ð convey ð an ð intended ð message ð and ð thus ð are ð important ð in ð digital ð graphical ð contents. ð However, ð this ð visual ð representa(on ð of ð numerical ð data ð limits ð access ð to ð informa(on ð for ð many ð people ð with ð visual ð impairment. ð We ð have ð developed ð a ð Mul(modal ð Access ð to ð Informa(on ð Graphics ð (MIGS) ð system ð to ð address ð the ð accessibility ð of ð informa(on ð graphics. ð This ð approach ð is ð designed ð to ð detect ð informa(on ð graphics ð from ð digital ð resources, ð to ð extract ð informa(on ð from ð them, ð addi(onally, ð to ð conduct ð op(mal ð visual�괂Ġtac(le ð conversion ð and ð provide ð text�괂Ġbased ð summariza(on ð based ð on ð preferences ð of ð the ð MIGS ð system ð users. ð This ð paper ð presents ð the ð general ð architecture ð of ð the ð integrated ð scheme ð and ð our ð solu(ons ð to ð several ð challenging ð problems ð in ð the ð system: ð iden(fying ð figures ð among ð the ð digital ð resources, ð segmen(ng ð text/ ð line�괂Ġdrawing ð layers ð within ð figures, ð and ð extrac(ng ð comprehensive ð informa(on.