Ves ve strmé stráni pod Kusou horou je od centra Luže vzdálena tři km severovýchodním směrem. Na ostrožně nad obcí byly nalezeny archeologické stopy po výšinném opevněném sídlišti nebo hradišti. Spolehlivý písemný dokument potvrzující existenci obce pochází ze 14. století, přesněji z roku 1354. V letech 1415 – 1450 tu sídlil vladycký rod Brázdů, který měl v držení i nedalekou domanickou tvrz. Poté byla ves připojena ke košumberskému panství. Po zrušení patrimoniální (vrchnostenské) správy (panství) a jejím nahrazení správou státní, tedy po roce 1848, spadaly Srbce pod správu politické obce Voletice.
K odloučení a utvoření samostatného obecního úřadu došlo koncem padesátých let 19. století. Osada byla výhradně zemědělská bez rozvinutých řemesel. V roce 1907 zde založili první místní organizaci politické strany, a to agrárníků. Ve dvacátých letech se pak ustavila „Domovina“ a Místní sdružení republikánského dorostu pro Srbce , Voletice a Domanice. V obci tehdy provozoval svoji živnost řezník, obchodník smíšeným zbožím, bednář, švec, krejčí, obchodník s dobytkem, dva hostinští a trafikant (v jedné hospodě).
Sbor dobrovolných hasičů byl v obci ustaven v roce 1924. Na podzim obec zakoupila stříkačku Stratílek a upravila „sborovnu“ v kapličce. V lednu roku 1925 se konal první hasičský ples. Sbor v obci funguje nepřetržitě dodnes, ale již má k dispozici jinou, větší zbrojnici, jejíž součástí je i velmi dobře vybavená schůzová místnost – klubovna.
V roce 1960 zde žilo 140 obyvatel v 41 domech. 18% z nich pracovalo v průmyslu a 55% v zemědělství. Od dubna 1976 se Srbce staly součástí tehdejší střediskové obce Luže.
Kaplička Panny Marie Růžencové v Srbcích z poloviny 19. století
Pamětihodnosti:
V centru obce stojí od roku 1821 pískovcový kříž. Kaplička Panny Marie Růžencové v Srbcích z poloviny 19. století byla původně mnohem menší než dnes, protože její větší část sloužila jako hasičská zbrojnice. Zvonek neunikl za první světové války rekvizici a v roce 1920 se občané složili na nový. Kaplička byla po roce 2000 zrenovována a z bývalého skladiště se stalo duchovní centrum obce, které bylo znovu vysvěceno v říjnu 2002.
