赴日留学的最早时间取决于申请者的学历和申请途径：
高中生
会考过后即可申请，最早赴日时间是高三上学期的10月或者高三下学期的4月。
本科生/大专生
学校同意放行的情况下，最后一年可以不在学校，最早赴日时间是毕业当年的4月生或者7月生。
如果走语言学校，最早可以在毕业当年的10月生。
研究生
本科生最早可以在大三下学期开始办理语言学校申请，并在赴日前达到N2或N1水平。
综上所述，赴日留学的最早时间取决于个人的学历和准备情况。高中生可以在高三上学期的10月或高三下学期的4月入学，本科生和大专生可以在毕业当年的4月或7月入学，研究生则可以在大三下学期开始准备并申请语言学校，最早在毕业当年的10月入学。建议提前规划并准备好所有必要的材料，以确保顺利入学。