Сам процесс отнимает силы - вспомните, какая была замученная Гермиона.
Он так и делает - возвращается и ложится. Но всё равно это тяжело - потому что обычная жизнь никуда не девается.
Ну вы представьте: вот вы прожили день, вечер... вы крутанули хроноворот - и у вас опять утро. И для вас прошли сутки - и вы вернулись, наконец, и легли спать, но времени отоспаться у вас нету.