据说当年昭君在溪中洗脸时曾掉过一串珍珠入水，从此溪水一年四季芳香扑鼻，故名香溪。其实香溪源头的林间野花奇多才是溪水飘香的真正原因。每年三月，当香溪河畔桃花盛开的时候，可以在香溪水中看到一种淡红色的鱼，这种鱼被称为桃花鱼。传说王昭君在出塞前回乡省亲，正逢香溪两岸桃花开放，临行前昭君弹着琵琶向亲人挥泪告别，桃花也纷纷飘落水中，随着琴声化作桃花鱼。