там все не так: игрушки не такие, кровати не такие и тд.
Это обычная проблема для детей, которых поздно отдают в сад. Дети - консерваторы, некоторые из них сложно привыкают к переменам. И если в два года он просто еще не осознает, что именно не так (или осознает, но расплывчато), то в 4 уже может выразить свою тревогу от перемены мест словами
А уделить ребенку 1-1.5 свободного времени не мало?
Смотря как уделить. Если всем сердцем, с радостью, с желанием заниматься какими-то общими делами - то скорее всего нет. А если раздраженно и "отбывая наказание", то однозначно пользы не будет, даже если целыми днями сидеть рядом.