石州于氏，其来已久，并无两族。据家谱记载，自宋迄元，于氏先祖见此山川形胜，龙伏凤集，实谓风水宝地，于元大德七年（公元1303年）迁居来此。初始三代，隐处不仕，俱有善行。
于家沟于氏第四代—于渊（公元1393—1463年），字德深，明代景泰年间曾任河南永宁、卢氏县令，年逾六十因老母年事已高，辞官回籍奉亲教子。
于渊第四子于坦，明代景泰甲戌科（1454年）进士，弘治年间累官至大中丞巡抚（正三品），其一生好学，广施善行。
这一时期，于家沟于氏家族日渐兴盛，子孙在外为官者众多。
到了明嘉靖二十年（1541年）至隆庆元年（1567年）石州曾两度遭受蒙古俺达之乱，在此期间石州城（吕梁市区）及周边动荡不安，特别是隆庆之祸“城破、十室九空”，因“石”“失”谐音，石州还从此改名为永宁州。
于坦曾孙于素（于成龙高祖）一脉在此时被迫北迁距城百里，又有北武当、骨脊山等深山老林便于躲藏的龙堡村（后改名来堡，今方山县北武当镇来堡村）。
待到情势稳定后，来堡于氏后人经常回乡祭祖，亦绵延先祖在安国寺（今离石区国保单位）的功德。
现今安国寺明万历四十八年（1620年）的重修碑记上，功德主栏中于成龙的祖父于棌、父亲于时煌等来堡于氏后人和来自于家沟的于氏族人是按辈份大小一起排列的。后来于成龙在未仕前也曾在安国寺苦读六载，其子孙更是在此捐资助建，大做功德。安国寺也一度被世人侃称为于家人的家庙。
于成龙（1617—1684年，于家沟于氏第十二代，来堡第五代） ，字北溟，号于山，历任广西罗城知县，四川合州知州，湖广黄州府同知、代理武昌知府、黄州知府，福建按察使、布政使，直隶巡抚，两江总督加兵部尚书，赠“太子太保”，谥号“清端”，其政绩和廉洁刻苦的一生，深得百姓爱戴，被康熙帝誉为“天下廉吏第一”。
于成龙在幼年时曾被送回于家沟的私塾读书，成年后还在村里设馆授徒。
其弟于变龙更是在幼年时期便被过继给于家沟的族人，今天我们仍能想象到每当兄弟俩在村口离别时，那种依依不舍、手足情深的画面。
据村里上了年纪的老人们回忆，村内大庙曾有一古钟，上刻有“于化龙、于成龙、于变龙”三兄弟的名，还有印有“太子太保”的大红灯笼（因于成龙被康熙帝赠“太子太保”衔），可惜这些实物在文革时俱被毁。
于成龙长孙于准（公元1664-1731年），字子绳，号莱公，官至贵州、江宁巡抚。受下属牵连被免官回乡期间，在安国寺修建了莱公别墅。
其在乡期间，秉承家族遗风，每逢荒年都要给于家沟及周边整甲的穷苦百姓捐粮赈灾。
于准对家族的最大贡献就是重新整理编修了内含族规家训的《于氏宗谱》。据于家沟《于氏族谱》记载，其家族“字”辈为:“...朝时自廷 守大文国元 怀天万殿芝 柔皇庆鼎瑞 林珠贞发祥……”，于成龙父于时煌，子廷翼、廷励、廷元，曾孙大梴、大梅等名均与之相符。
康熙在四十二年（1703年）召见于准时，为其赐诗：“石岸群芳静，斜阳柳色边。挥毫意独远，鱼跃在深渊”。
巧合的是，在于家沟村内后沟深渊恰有一整块鱼形巨石，与村口的龙头石遥相呼应，正应了“鲤鱼跃龙门”之寓意。村内每年正月都要举行流传了几百年的“祭鱼拜龙”传统仪式，以期神灵庇佑，家族兴旺。
