出身于陈郡谢氏的谢石，最初担任秘书郎，历任黄门侍郎、征虏将军、尚书等职。
宁康三年九月，孝武帝司马曜讲解《孝经》，仆射谢安侍坐于旁，尚书陆纳伴讲，侍中卞耽伴读。
时任黄门侍郎的谢石与吏部郎袁宏手执经书，中书侍郎车胤与丹杨尹王混选取文句，当时舆论把这看作是一种荣耀之盛事。
太元四年，前秦将领俱难及彭超在攻下彭城、淮阴后南侵淮南地区，六万大军逼近广陵，谢石领水军在涂中抵御。
谢玄等人于君川大败前秦，成功解除了危机，战后谢石以功封兴平县伯，太元六年谢石升任尚书仆射。
太元十年，谢石兄谢安去世，谢石迁卫将军，加散骑常侍，尚书令如故。
当时谢石因公事而与吏部郎王恭互相批评，王恭忿恨而请求去职谢石亦上请退位。
谢石多次上表求退，亦遭拒绝，及后便请求依照王彪之在府中总理尚书令事务的前例，才获得批准。
谢玄，字幼度，陈郡阳夏人，东晋名将，豫州刺史谢奕之子、太傅谢安的侄子。
谢玄有经国才略，善于治军，起家大司马桓温部将，太元二年为抵御前秦袭扰，担任建武将军、兖州刺史、广陵相，都督江北诸军事。
招募北来民众中的骁勇之士组建北府兵，太元四年率兵击败前秦进攻，进号冠军将军、徐州刺史。淝水之战中，出任前锋都督，先遣部将刘牢之率部夜袭洛涧，首战告捷。
抓住战机，计诱前秦军后撤，乘势猛攻，取得以少胜多的巨大战果。
太元九年，乘胜开拓中原，先后收复了河南、山东、陕西南部等地区，因病改任左将军、会稽内史。
谢玄出生于陈郡谢氏家族，其家在谢玄时代已逐渐成为江左高门，号称诗酒风流，生父谢奕，官至安西将军、豫州刺史；母亲阮容，是西晋名士阮籍、阮咸的族人。
谢玄自幼聪慧，且理解能力强，与堂兄谢朗一同为叔父谢安所器重。
谢玄成年后，显示出了治理国家的才能，朝廷几次征召，他都推辞不受。
后来，他与王珣一起被桓温辟为掾属，都受到了桓温的礼遇和器重，转任征西将军桓豁的司马、领南郡相、监北征诸军事。
当时前秦苻坚正是势力强盛之际，多次侵扰东晋边境。朝廷于是下令征召能够抵御外患的良将。谢安任人不避亲，推荐了谢玄。
中书侍郎郗超历来与谢玄不和，但听到这一举荐，也不得不叹息说谢安敢于冒触犯众怒的危险举荐亲侄子，确实是英明的。
谢玄一定不辜负他叔叔的推荐，因为他确实是难得的人才。
许多人都不赞同郗超的看法，郗超说我曾经与谢玄共同在桓将军幕府做事，亲眼见他用人能各尽其才，即使是一些细小事务，安排人也非常恰当，我因此知道他一定能成功。
朝廷于是召谢玄回朝，授其为建武将军、兖州刺史，领广陵相，监江北诸军事。
谢玄在任上，广募顽强勇敢之人，刘牢之与何谦、诸葛侃、高衡、刘轨、田洛及孙无终等人都因为勇敢威武而应选。
谢玄授刘牢之为参军，命他领精锐为前锋，百战百胜，号称北府兵，前秦对其颇为畏惧。
太元三年前秦皇帝苻坚派军围困襄阳，车骑将军桓冲率部抗击。
朝廷下诏命令谢玄征发三州民夫兵丁，并派彭城内史何谦率军在淮水、泗水一带游弋，让他们构成援助襄阳的态势。
次年，襄阳陷落，苻坚的部将彭超向驻军彭城的龙骧将军戴逯发动进攻。
谢玄率领东莞太守高衡、后军将军何谦驻扎在泗口，想要偷偷地派遣使者告诉戴逯，让他知道救兵到了，却找不到前往的途径。
小将田泓请命前往，于是他就潜在水中偷偷地过去，快要到城下时，不幸被敌军抓获。
敌军用丰厚的赏赐收买田泓，让他对彭城守军说南来的援军已被打垮了。
田泓假装答应。但到了城下时，却大声告诉城中说南来的援军很快就要到了，我一个人前来报信，被敌人抓住，诸位一定要努力坚守啊！
彭超将辎重放置于留城，谢玄于是扬声要派遣何谦等进军留城，彭超听闻后，率军返回留城保护辎重。
何谦迅速率军前进，解彭城之围。彭超又进军南侵，苻坚的将领句难、毛当从襄阳率军前来与其会合。
朝廷下诏命谢玄的叔父、征虏将军谢石率水军往涂中，右卫将军毛安之、游击将军王昙之、淮南太守杨广、宣城内史丘准往堂邑。
不久，盱眙城失陷，高密内史毛藻战死，毛安之等人惊恐，各自退军，朝廷为之震动。
谢玄从广陵往西讨伐句难等，何谦率军击败敌军，为田洛解围。他随后进据白马，大破前秦军，斩其将都颜。
趁势进击，再次将其击破，斩其将邵保，彭超、句难率军引退。
谢玄率何谦、戴逯、田洛追击，在君川与其展开战斗，再次大破其军。
参军刘牢之攻破浮桥和白船，督护诸葛侃、单父县令李都又攻破其运输船，句难等各自溃散，仅以身免。
朝廷得讯后，派殿中将军慰劳谢玄，为其进号冠军将军，加领徐州刺史，还屯广陵，以功封东兴县侯。
太元八年，苻坚亲自率军驻扎项城，号称雄兵百万，前秦凉州之军抵达咸阳，向南顺流，幽并二州的军队也接连而至。
苻坚先遣苻融、慕容暐、张蚝、苻方等人至颍口，梁成、王显等屯驻洛涧。
晋孝武帝下诏命令谢玄为先锋，统领徐州、兖州、青州以及扬州之晋陵、幽州之燕国各支军队。
谢石、他的从弟辅国将军谢琰、西中郎将桓伊、龙骧将军檀玄、建威将军戴熙、扬武将军陶隐等抗击，共有八万人。
谢玄先派遣广陵相刘牢之率五千人奔袭洛涧，首战告捷，很快就杀了梁成和其弟梁云，敌人的步骑兵同时崩溃，争着渡过淮水逃跑。
刘牢之派兵追击，活捉敌将梁他、王显、梁悌、慕容屈氏等，获取其军用物资。