甘露元年（265年）冬建立。下辖原属庐陵南部都尉的始兴县（约南雄、大余两地）、原属南海郡的中宿县、原属桂阳南部都尉的斜阶县、桂阳县、阳山县、含洭县、浈阳县、曲江县八县，属荆州，治所在曲江县（韶关市东南莲花岭下）。 永嘉元年（307年）分荆州地置湘州（州治在长沙），始兴郡改属湘州。 咸和三年（328年）废湘州，属荆州，郡治迁往东南十里官滩（浈江区南郊五、六公里）。 470年（宋泰始六年）在贞阳县西六十里置冈溪县，始兴郡分出桂阳、阳山、含洭三县，与冈溪县组成宋安郡。 472年（宋泰豫元年）改称广兴郡，省冈溪县和宋安郡。
479年（齐建元元年）贞阳县复名浈阳县，广兴郡复名始兴郡，属湘州。 齐（479年至50婚影2年）时，从曲江县樱讲樱分置仁化县（县治在仁化县境走马坪北20里的恩溪扶溪合流处）。以晋朝所废之斜阶县之辖地置令阶县（治所在始兴县西七里）。 梁至唐朝垂拱三年（502年至687年）撤销仁化县，并入曲江县。 梁天监五年（506年）置广德县（连山），四月令阶县改名为正阶县。 梁天监六年（507年）在含洭县置衡州和阳山郡，衡州辖阳山郡（辖含洭县、阳山县、桂阳县、广德县四县）、始兴郡，在中宿县地置清远郡，辖中宿县（清城区、清新区）、威正县、廉平县、恩洽县、浮护县（广东省清远市佛冈县中南部）五县（威正县、廉平县、恩洽县、浮护县县治不详），隶属广州。 梁天监十七年（518年）分梁化县置平石县。
梁大同元年（535年）衡州分作东衡州、西衡州，东衡州治所在曲江县，辖始兴郡。 梁大同二年（536年）正阶县朵旬热并入始兴县。
梁大宝元年（550年）南康郡地大余（今大余）改属东衡州始兴郡。 梁承圣中元年至四寒询年（552—555年）分始兴地置安远县。 554年（梁承圣三年），析浈阳县东部立翁源县，属清远郡。以始兴郡增置东衡州（治在曲江），始兴郡属东衡州。 梁末陈初，一度废东衡州，始兴郡改属衡州（州治在今英德市）。 陈永定元年（557年）改安远县为安远郡，隶属东衡州，即韶州。 拜誉探陈天嘉元年（560年）复置东衡州，始兴郡隶属东衡州。 公元560—566年（天嘉年间），改衡州为西衡州，治仍在含洭县，含洭县属西衡州阳山郡，浈阳县仍属东衡州始兴郡。
陈太建十三年（581年）大余改隶东衡州安远郡 [2]。 开皇九年（589年）废始兴郡，改为东衡州，不久又改为韶州（州、县治所回迁莲花山）。废安远郡置大庾县，腿危漏霸隶属广州总管府始兴郡。（按：《隋书》是年省诸郡，于始兴郡置广州总管府，统县十六，始兴在焉。），此为大余建县之始。 开皇十一年（591年）韶州废，入广州。
开皇十六年（596年）废始兴郡，大庾县改为大庾镇，入虔州晚仔局（位于赣州市）南康县。 开皇十八年（598年）改梁化县为乐昌县（因县内有乐石、昌山而燥奔拘得名），直属韶州。 初隶属广州管辖。
武德四年（621年）在韶关地区置番州，隶番州，未久番州改称东衡州。 贞观元年（627年）改东衡州称韶州，隶属于岭南道。 光宅元年（684年），析始兴县北界的化南、横山两乡置贞昌县（今南雄）。 天宝元年（742年）改韶州复置始兴郡，治所曲江县（今韶关市西一里武水西）。
