清政府召回留学生的决定主要基于以下几个原因：
文化观念冲突：
留美幼童在美国接受西方文化的影响，在穿着、行为举止上逐渐西化，剪掉长辫子等行为在当时的清政府保守派看来是对传统的背叛。
思想观念转变：
幼童们学习西方知识，对儒家经典失去兴趣，反而对个人权力、自由、民主等西方思想观念产生兴趣，这与中国封建礼教和道德规范相冲突。
政治环境变化：
早年支持留洋学习的大臣已经去世，新的管理者可能对留学生持保守态度，加之慈禧太后签订了不平等条约，导致清政府决定召回留学生。
忠君教育缺失：
清政府认为这些留美幼童没有接受过传统的“忠君教育”，对清政府的忠诚度不够，这也是召回他们的一个原因。
洋务运动的反对：
清政府的保守派对“洋务运动”及其包含的留学事务持反对态度，认为派遣留学生是“用夷变夏”，违背了传统。
这些因素综合作用，促使清政府做出了召回留学生的决定