然而，韩信虽然是个军事天才，但他在政治斗争上几乎等同于白痴。

韩信早早丧了双亲，家道贫寒，因生计无着，常食不果腹。曾“数从其下乡南昌亭长寄食”，就是去蹭饭，甚至蹭到一位以洗衣服为生的老妇人漂母那里。结果亭长家讨厌他，每次都故意提前吃饭时间，让韩信扑个空。漂母起初一直给他饭吃，最终也忍不住批评他无所作为。

他还时常遭到同乡地痞流氓的欺辱。韩信之所以总被流氓欺负，虽与他孤苦无依有关，但更主要的原因是他太特立独行了。韩信从小熟读兵书，学成后总觉得自己是大将之才，常常挎着把剑四处招摇。这种特立独行的装扮难免会让那群流氓产生好奇，不免想试试他是否与他的那副很酷的装扮相符。韩信兵书读得多，体力难免不及乡民，更流行的说法是，韩信不屑于与宵小之辈争斗而误了大志，于是，在这样的背景下，韩信钻了一个流氓的裤裆，后人称之为“胯下之辱”。

项羽与刘邦纷纷揭竿而起反秦后，韩信先是投奔了项羽，项羽并没有认识到这是一个军事天才，只让他当了一个小小的粮库站长。韩信当然认为自己的才能不至于干这个，于是又跑去了刘邦那里。结果，刘邦也没有看上他。倒是刘邦手下的萧何发现此人是个天才，多次向刘邦举荐，刘邦勉强给了他个小官做。