日本永住者回国的时间限制主要取决于他们的再入国许可。根据提供的信息，以下是相关要点：
1. 永住者在离开日本超过一定时间（如1年）而没有取得再入境许可的情况下，可能会失去在留资格。
2. 对于持有再入国许可的永住者，他们可以在一定条件下每年回国一定时间。这个时间通常是根据个人情况和事由而定，并没有明确的规定。
3. 如果永住者需要长时间离境，比如超过3年，他们需要事先申请再入国许可，并且回国期间不能超过在留期限。
4. 对于特别永住者，适用的是2年内再入境的规定。
5. 永住者在出境后1年内且在有效在留期间内再入境时，原则上无需办理“再入国许可”，这种制度被称为“视同再入国许可”。
请注意，以上信息可能随时间而有所变化，建议在计划回国前咨询相关日本使领馆或专业机构以获取最新信息