明隆庆二年（1568），瑶民盘王莲由蓝山县迁至县内朦胧山。清顺治末年，盘水堂携妻、子由资兴迁入县内观音坐莲。均以刀耕火种、打猎、采集野果为生。土地瘠贫后逐渐迁往车坪、茅坪、龙渣等盆谷地带。康熙元年（1662），知县李朝事邀郴州瑶官赵成隆平定县内兵乱，乱平后，李上奏朝廷，封赵为酃县瑶总，管理瑶民事务。从七都石壁下至八都坳头尽属瑶地。其部下逐于茅坪、龙渣、新开、龙塘、深渡一带人烟稀少处开垦荒地、繁衍生息。康熙二十八年，县令批准，新垦荒地6年内不纳税，垦荒者免除差役。瑶民逐渐由种旱土改耕水田，人口逐渐增加，改不定期迁居为定居。乾隆三十年（1765），县内瑶民达1133户，6065人，占全县总人口的7.57%。瑶民集居区荒地开垦后，官府遂增收赋税，汉族地主亦重利盘剥。瑶民不堪重负，陆续迁往蓝山、江华、郴州、资兴、桂东等地。同治十二年（1873），县内瑶民减至290户，1912人。分居茅坪、龙渣、龙塘、南岸等地。民国时期，推行保甲制，废除瑶总。国民政府向瑶民摊派苛捐杂税日重，汉族地主亦欺瑶民淳朴、文化落后、巧取豪夺，侵吞瑶民山林、土地。瑶民不堪忍受，1928年在共产党领导下，以盘园珠、盘华坤为首，组织农民协会，反抗豪强，由于国民政府的残酷镇压，斗争失败，盘园珠被捕，盘华坤牺牲。瑶民被迫逃亡他乡，或改名换姓、隐瞒民族成份。1949年，县内瑶民仅剩230人。
　　解放后，瑶乡废除保甲制。1957年8月，经省民政厅批准，成立龙渣瑶族乡。瑶乡生产逐步发展，生活水平逐步提高。1958年，人民公社后，龙渣乡改为中村公社龙渣大队。1985年2月，经省民政厅批准，重建龙渣瑶族乡，下辖龙渣、龙凤、双奎、新开4个村。瑶族同胞在政治、经济、文化上都彻底翻身。龙渣、平乐、中村等地在民国期间隐姓埋名，改变成分的瑶族同胞及其后裔纷纷要求恢复瑶族成份。