杜牧曾因仕途失意，长期飘泊南方，“倚遍江南寺寺楼”。其中云门寺在唐代高僧荟萃，佛教禅宗六祖惠能在曹溪说法，云门寺高僧善现住持曾事之。李白曾到此游览，并题有《游水西简郑明府》一诗。《念昔游三首》是杜牧在若干年后追忆那次游踪而写的组诗。