在《易經(jīng)》中，每卦六爻，而三、四爻正好居于中間位置。所以有說人說：易經(jīng)中的三、四爻意味著主體正道，有端正的意味。于是“不三不四”就有了行為不端的意思。

易經(jīng)的每個卦都分6個爻，俗稱6爻卦，意為事物發(fā)展的6個階段，第三爻與第四爻處在6爻的中間位置，在易經(jīng)中象征正道和大道，不三不四則說明一個人或一件事物不是在正道或大道上，有不務(wù)正業(yè)之意。

但“不三不四”一詞最早出現(xiàn)在明代施耐庵的《水滸全傳》第七回中：“這伙人不三不四，又不肯近前來，莫不要攧灑家。”后來在清·吳敬梓《儒林外史》中的第三回也出現(xiàn)過：“也該撒泡尿自己照照！不三不四，就想天鵝屁吃！”可見，“不三不四”早成了貶義詞，指的就是不正派、不像樣子。