不过李唐家族虽然比不上五姓七家，也是腰板直直的关陇高门，爷爷李虎是八柱国之一，是关陇一代有相当影响力的家族，李渊花些力气也是能以长房嫡长子+未来当家主母的位子攀上五姓七家的，李建成的老婆郑观音就出自荥阳郑氏，而女子高攀就更容易些，李渊妹妹同安长公主就嫁到了“银镂金饰”的太原王家

司马迁在《史记·李将军列传》中说：“李将军广者，陇西成纪人也。”李广当为陇西李氏，其孙李陵为直系。按理说李唐也自称陇西李氏，应该是同一族。不过值得怀疑的是在李陵战败投降后，陇西李氏遭到了灭顶之灾(司马迁帮李陵说了几句就被....可见武帝对李陵有多愤怒)，但到了西凉景王李弇时却又中兴了，中间发生了什么不得而知。到了隋唐，陇西李氏已是四大家族之一，不排除天下李氏都有附会陇西李氏之嫌。《姓氏录》也把陇西李氏列为李氏第一。

那李唐皇族是否是是李陵后裔呢?李陵在投降后，被夷其三族，李陵在汉朝的后代基本断绝。不过单于在得到李陵后，因李家世代为将的声望，以及与之交战时李陵英勇的表现，对他非常佩服。把自己的女儿嫁给了李陵，并加以重用，封为右校王。所以李陵在匈奴留下了后裔。

根据《隋书.李穆传》记载：“李穆，字显庆，自云陇西成纪人，汉骑都尉陵之后也。陵没匈奴，子孙代居北狄，其后随魏南迁，复归汧、陇。祖斌，以都督镇高平，因家焉。父文保，早卒，及穆贵，赠司空。”所以，李陵后裔到了隋唐应是李穆一支。