三国桂阳郡位于现在的湖南省东南部,与广东、港澳地区相邻,与永州、衡阳、郴州等9各县、市、区相接壤,三国时期以湘江为界,湘江以东的各个郡县都归于吴国管辖,以东的地区都归蜀国管辖,据此看桂阳郡当时归属吴国。

三国时期的桂阳郡经历了巨变,三国前期吴蜀还未进行划江而治之前,桂阳郡所管辖的区域与两汉时期相同,郡治在目前的湖南郴州,范围就是现在的衡阳南部和广东西北部地区,三国演义中赵子龙计取桂阳指的就是这个地方。

三国后期吴蜀分江而治桂阳郡归属东吴后,此地的辖区进行了一系列的调整,北部设立衡阳郡、分出新常宁一起被划分为衡阳郡,南部曲江、阳山、桂阳县等被划分给始兴郡,三国后期桂阳郡被划分出大量的辖区,范围比之前小了很多。