三国桂阳郡位于现在的湖南省东南部，与广东、港澳地区相邻，与永州、衡阳、郴州等9各县、市、区相接壤，三国时期以湘江为界，湘江以东的各个郡县都归于吴国管辖，以东的地区都归蜀国管辖，据此看桂阳郡当时归属吴国。

三国时期的桂阳郡经历了巨变，三国前期吴蜀还未进行划江而治之前，桂阳郡所管辖的区域与两汉时期相同，郡治在目前的湖南郴州，范围就是现在的衡阳南部和广东西北部地区，三国演义中赵子龙计取桂阳指的就是这个地方。

三国后期吴蜀分江而治桂阳郡归属东吴后，此地的辖区进行了一系列的调整，北部设立衡阳郡、分出新常宁一起被划分为衡阳郡，南部曲江、阳山、桂阳县等被划分给始兴郡，三国后期桂阳郡被划分出大量的辖区，范围比之前小了很多。