Видимо все те, кому "посчастливилось" попасть в цепкие руки маггловских священников или ученых.
А ведь мы же еще забыли случаи, когда у обычных людей рождались дети с магическими способностями. У таких детей, как мне кажется до 20 века вообще шансы на выживание равнялись 0. Или же их подбирал какой-нибудь негодяй-волшебник, как Вирджил и просто использовал.