形成的时间不一样
首先看一下单于。单于是什么时候出现没有明确记载，因为最初是匈奴人称呼自己的首领为单于的，而匈奴又没有自己的文字，并没有明确的记载。在匈奴语中，单于的意思是广大之貌，听起来还是比较霸气的。匈奴自从出现到灭亡，首领的称呼基本上一直都是单于。甚至到匈奴分裂的为北匈奴、南匈奴、东匈奴的时候，他们首领的称呼依然没有变化。西晋时期，趁着八王之乱，南匈奴单于于夫罗之孙，左贤王刘豹之子刘渊趁机起兵造反，建立汉赵。不过他当时称呼是皇帝，并不是匈奴。自此之后，匈奴的首领很少称为单于了。
其次看一下大汗。大汗也称为可汗、合罕、汗王、汗，意思和国王差不多。大汗的称呼最初来源于鲜卑族，起初并不叫可汗，而是叫可寒。匈奴经过汉朝的不断进攻开始分裂，实力逐渐下降，后来其他少数民族开始崛起，这里面就有鲜卑族。匈奴实力下降之后，鲜卑族不断进攻匈奴，开始占领草原。东汉末年的时候，鲜卑族首领檀石槐在弹汗山建立王庭，称霸整个草原，周边的少数民族都开始臣服于鲜卑。自此之后，草原变成了鲜卑人的天下。虽然檀石槐去世后，鲜卑族继续分裂，不过仍旧是草原霸主。因此，鲜卑族的各种文化对其他少数民族影响非常大。
单于和可汗区别
“单于”和“可汗”的区别：单于是匈奴人的首领称谓，可汗是突厥人等蒙古游牧民族的首领称谓。单于是匈奴人对他们部落联盟首领的专称。意为广大之貌。
此称号始创于匈奴著名的冒顿单于之父头曼单于，之后该称号一直沿袭至匈奴灭亡。而东汉三国之际，有乌丸、鲜卑的部落使用单于这个称号。
两晋十六国，皆改称为大单于，但地位已不如以前。
可汗是四世纪以后蒙古高原游牧民族高级政治体首领的称谓。最早出现于3世纪鲜卑部落，最初这个称呼最早被用于称呼鲜卑部落的酋长，也作“可寒”。
可汗作为一国之主的称号最早始于402年柔然首领社崘统一漠北自称。类似于汉语的国王古代阿尔泰语系民族柔然、突厥、回鹘、吐谷浑、黠戛斯、蒙古、满洲等族群对首领皆称可汗蒙古帝国灭亡后受其影响，中亚的帖木儿帝国、哈萨克汗国、布哈拉汗国等国和东欧的克里米亚汗国、喀山汗国等突厥化穆斯林国家君主也开始称可汗。
