Potter явно отсылает к пословице - Not the Potter but the Potter's clay - Не Горшечник, а глина в руках Горшечника (это вообще цитата из Библии про отношения Бога и человека)
Вот только в допах Ро прямым текстом пишет, что у родоначальника семьи было прозвище Potterer, производное от глагола to potter. Отсюда и пошла фамилия. Никаких горшечников и в помине не было.