А может, когда Волдеморт развоплощался, все снесло?
Ну и кроме того, опять-таки подробно ничего не написано у Роулинг об этом заклятии. Все очень и очень поверхностно. Может быть действительно, если враг проходит, да еще и убивает того, кто ставил Фиделиус, он рушится. Гарри все-таки еще младенец, которого к тому же приложили Авадой (да еще и частичка души Волдеморта в нем осталась).
Да и дом разрушен.
Тут вариантов может быть масса.