我认为要用到的微分几何内容包括微分流形,李群,和一点黎曼几何。loring tu的流形导论和GTM275就是十分友好的入门书。不过GTM275更关注示性类,对测地线的讨论可以看其他的黎曼几何教材,比如do carmo的小绿书或者GTM176(其实随便一本黎曼几何书上都会涵盖这些内容)有物理系的人推荐梁灿彬的书(我没看过)。抽象代数的话,GTM73,rotman的书都可以入门。我不太清楚物理需要用到的抽象代数有多深,群环域的概念你可以10分钟内看懂,但是深入下去有很多知识,看你学物理的需求程度。
这些书你不一定要每一章都看,需要的部分你有目的性的看,否则容易浪费时间又不能帮助自己学好物理。
书都可以在libgen上找到。