西贡蚝涌车公庙已有逾400年历史，其选址及建筑布局甚佳，前临涌涧，背向风水林，并保留了传统的建筑设计。相传，车公是宋朝（公元960至1279年）一位大元帅，曾平定华南一场叛乱。南宋末年，宋帝昺南下避难，车大元帅一直护驾到香港，并驻守西贡。后来获道教奉为神明，并立庙供奉。
在蚝涌村村民之间，流传着一个家喻户晓的民间故事：白马传奇。相传车公庙建成后，村民集资购买了一只白石马给车大元帅作坐骑，并把石马放置在庙外。自此以后，怪事接连发生。原本盛产的禾稻，连年失收。同时，村民每早下田工作时，都发现稻田的禾穗东歪西倒，泥土上还留下野兽的足迹，后来，村中父老邀请了一位风水先生到村里来，风水先生认为是白马精作祟。于是，村民把白马拆下，埋在庙门外的空地下面，并且在地上放置了一个炉趸。自此村里天下太平，五谷丰收。