古人认为遇上黑白无常十分倒楣，不但会被吓倒，更相信可能因此丧命。在清人李庆辰《醉茶志怪》一书中，则有一段关于黑白无常的传说：
    某天晚上，一位大夫诊症完毕，便乘坐由三位轿夫所抬的轿回家，当轿子经过城隍庙时，本来走得四平八稳的轿子突然停下来。大夫心想：「咦！为什么突然停下来呢？不如看看外面发生什么事吧！」他见到一高一矮，面目狰狞，分别穿白衣和黑衣的鬼，原来二鬼正是黑白无常，他们走到城隍庙前，庙门即自动打开，当他们入庙后，庙门又随即自动关上。
    大夫和其中两位轿夫吓得惊叫：「救命呀！很恐怖啊！还是快点赶回家吧！」过了数天，这位大夫和其中两位轿夫突然一命呜呼。唯一逃过此劫者，是站在轿子后面，并没有看到黑白无常的轿夫。