一个人的基本素质决定了他的做事风格、方法、特征以及成效，军人与文士，莫不如此。李广的基本素养很差，在中等以下，是一种不甚健全的人格。
李广的心胸狭窄，报复心重。元光六年一役之后，李广被削职为民。一次跟人在外饮酒夜归，在霸陵亭被亭尉呵止。李广的随从说：这是先前的李将军，你不得无礼!亭尉说：在职的将军尚且不能违犯宵禁之令夜行，何况是一个离职的将军。李广于是被迫在亭下住了一宿。不久匈奴入侵，武帝召回李广，拜为右北平太守。李广立即将这个羞辱过他的亭尉调入自己军中，“至军而斩之”。多大的一个事，李广居然念念不忘，心中记恨。一旦有了权，立即公报私仇。李广这种小人毫无大丈夫气量，顺我者昌，逆我者亡，在战争中如何能听取不同意见，集思广益？
李广脾性暴戾，煞气很重。他当陇西太守时，羌人*反造**，李广采用诱降的方式，使八百多个羌人投降了。这事无可非议，但后来他又反悔，将这八百多已经投降的羌人杀死。这种行径像谁?像项羽。项羽起兵反秦，有大量秦兵投降。到了新安，降军中出现一些思想波动，项就在新安城南挖坑埋杀了二十余万降兵。杀死已降之人，这是性情十分残暴的人才干得出的事，古人对此十分反感。术士王朔就对李广说：“祸莫大于杀已降，此乃将军所以不得侯者也。”他言之成理：杀死已降之人，会激起其余羌民更强烈的反抗，从而增加自己取胜的难度进而影响自己的功名。
李广有三个儿子：当户、椒、敢，成年后都当了郎官。武帝与宠幸韩嫣戏谑时，韩嫣不够恭敬，当户在场，赶走了他，武帝“以为勇”，很赏识他。李椒曾任代郡太守。两人都死在李广之前。小儿子李敢随霍去病攻打匈奴左贤王，杀敌多，夺了左贤王的鼓旗，因而赐爵关内侯，食邑二百户，还接替李广当上郎中令。后来他因为父亲与卫青的那段过节而心生怨恨，击伤了卫青。卫青倒是没有怎样，把此事瞒住，但卫青的外甥霍去病不干了，将李敢射杀。这件事武帝采取了隐瞒的态度，宣称李敢被鹿撞死。当年卫青要求李广报告迷路情况，是其职责所在，谈不上*害迫**。李广是自杀的，假如不自杀，他会和右将军一样，有罪，赎为庶人，不会丢命。李敢为父*仇报**是意气用事，结果“*仇报**”不成，自己反倒丢了性命。
李广性格刚烈，经常冲动误事。论者多以为李广是被卫青逼死的，而不去考究一下卫青。其实卫青为人谦和、朴实，颇有“儒将”之风。元朔五年他立功后，武帝封给他六千户，还封他三个儿子为侯。卫青固辞，说：“皆诸校尉力战之功也。”元朔六年一役，卫青部将苏建战败，弃军逃回，议郎周霸劝卫青斩杀苏建以立威，卫青拒绝，将苏建交给武帝，由武帝发落。苏建告诉司马迁，他曾建议卫青仿效古人，多招宾客向朝廷推荐。卫青说，如何用人是皇帝的权柄，“人臣奉法遵职而已”。
司马迁对卫青的评价是：“为人仁善退让，以私柔自媚于上，然天下未有称也。”这样一个人，怎么会有针对地去残害李广？他要求李广上报迷路情况时，还特意派人带去干粮、浓酒慰问李广，表明一种友善的态度。反倒是李广对卫青抱着强烈的抵触情绪，在东道上磨磨蹭蹭，弄丢向导和迷路是必然的。李广最后的拔剑白刭更是冲动之举，枉送了自己的性命。这样的死亡毫无意义，却为儿子李敢之死埋下了祸根。
李敢刺杀卫青也是冲动之举，在心情平静的状态下，他断乎不会如此。卫青是皇亲国戚，一朝勋臣，武帝对他甚为倚重，刺杀他，不论成功如否，后果是极其严重的。李敢自小随李广在军中生活，习得李广易冲动的脾性，做事是不考虑后果的。
李广极其自负，不会自谦自责。李广家族中人都很自傲，自以为老子天下第一，攻无不克，战无不胜，实际上除了一身蛮力，其他方面很差，有时连常理都不懂。李广曾说：“广不为后人，然无尺寸之功以得封邑者，何也？岂吾相不当侯邪？且固命也?”他自以为不比别人差，其实从综合素质看，他是很差的。他把自己的人生失败归结为“相”和“命”，证明他的素质与项羽在一个档次。在望气术士王朔的启发下，他才找到自己人生失败的一点原因——杀降，再不去深思其他原因。不会自责就没有进步，所以他至死“尚不觉寤而不自责，乃引‘天亡我’非用兵之罪也’，岂不谬哉”（司马迁评项羽之语）。
李广的子孙大多跟李广一样，自负，鲁莽，暴躁，缺乏基本的人生素养。这当然不是遗传，而是家庭环境的熏染所致。作为家长的李广通过其言传身教，将其基本素养传给儿孙，使得整个家族的品格维持在一个不高的水平。这也决定了这个家族最终的命运，只能是衰落和失败。