Ну там вообще дурдом - этого маггла, который там смотритель, они легко могли куда-нибудь сплавить на несколько дней, чем память ему стирать по несколько раз в день.
А к строительству привлекать - это же надо и с властями маггловскими договариваться, а если объект скрыт от магглов чарами? И с компаниями строительными. Короче, тот еще геморрой. Слишком многим потом пришлось бы память стирать )))