因流经黄牛山下而得名。
江水又东经黄牛山下，有滩名曰黄牛滩.南岸重岭叠起，最外高崖间，有石色如人负刀牵牛，人黑牛黄，成就分明既人迹所绝，莫得究焉.此岩既高，加以江湍纡回，虽途经信宿，犹望见此物.故行者谣曰：“朝发黄牛，暮宿黄牛三朝三暮，黄牛如故.”
