唐朝人说：“城南韦杜，去天尺五。”在今西安东南（故少陵原）有唐代长安杜氏家族墓葬，著名宰相杜如晦、杜佑、晚唐诗人杜牧均埋葬于此。
京兆杜氏的世系可以追溯到西汉御史大夫杜周。杜周本居南阳（今河南南阳），汉武帝时期以豪族迁于茂陵（今陕西省兴平）。子杜延年又迁于杜陵（今陕西西安东南）。
京兆杜氏历朝多为官，名人辈出，魏晋到隋唐皆与各大门阀皇族宗室联姻。东汉时有杜笃曹魏时期有杜畿，杜恕。杜恕之子，镇南大将军杜预为西晋著名的政治家，军事家和学者唐朝时代为官者为最，如凌烟阁二十四功臣之一杜如晦，历史典藏《通典》之作者杜佑，其孙则乃晚唐诗人杜牧。唐朝京兆杜氏为宰相者有多人，为刺史郡守者数量更甚。
京兆、襄阳、河南杜氏本一家。东晋时期，杜耽(杜预次子)后裔一支迁居襄阳，该支后裔有名人杜怀宝、杜龛、杜申言、杜甫等。东晋末年还有随刘裕南下定居寿阳的杜坦(杜骥)一支
