Ну, оплеухой - за дело. А так - не будет цепляться, и внимания на него будут обращать не больше, чем на мебель. Своих дел полно.
Вообще по идее у Гермионы должен быть минимум предрассудков - на нее их не цепляют специально, как на Гарри (Все темные маги - из Слизерина (с)Хагрид), и не прививали в семье, как Рону (в семье).