吳湖帆原配夫人是蘇州大姓潘氏之女潘靜叔，其祖為道光時(shí)宰相，其父是光緒時(shí)軍機(jī)大臣。潘靜淑雖是名門(mén)才女，當(dāng)年卻以“荊布椎髻待湖帆”。婚后，在事業(yè)上、生活上對(duì)湖帆幫助極大。他們共同生活20多年，夫婦之間，琴琵和鳴，詩(shī)畫(huà)酬唱，極為相得，時(shí)人多將他們比作梁(鴻)孟(光)、趙(明誠(chéng))李(易安)、趙(松雪)管(仲姬)。不料，1939年，潘氏急疾不治，瘁然而逝，給吳湖帆精神上刺激很大。吳在《故妻潘夫人墓?fàn)睢分袑?xiě)道：?jiǎn)韬敉丛眨〗痃U長(zhǎng)埋，佳城永閉，我心碎矣，君靈知否？為表奉倩傷神之意，他從這時(shí)起更名為“倩”，自號(hào)“倩庵”。又請(qǐng)陳巨來(lái)為潘靜淑刻名章10多方，鈐在遺物上，以示悼念。

　　潘氏下葬于滬西虹橋公墓。吳湖帆特請(qǐng)葉恭綽題“梁景佳城”四字，以備自己百年后合葬用。這一段時(shí)間，吳湖帆沉浸在極度悲痛之中，他先后填詞數(shù)十首，哀婉凄約，潘氏的遺物，幾乎讓他寫(xiě)遍了。

　　為了減輕吳湖帆的悲緒，他的兩個(gè)兒了吳孟歐、吳述歐特輯父母所作之畫(huà)16幀影印行世，名《梁景書(shū)屋畫(huà)集》，封面為葉恭綽題簽，前有夏敬觀序及陳遽所作之傳，后有潘靜淑侄潘博山所作之跋。書(shū)為作開(kāi)套色精印，首頁(yè)刊吳湖帆、潘靜淑合影。內(nèi)頁(yè)所選吳湖帆山水畫(huà)7幅，皆其力作，潘氏的花卉9輻，也是從她遺世的160多幅中精選出來(lái)的代表作。該書(shū)印成后，上海各大書(shū)店均有出售，一時(shí)很受歡迎。

　　潘靜淑雅好填詞，有《綠草詞》一卷遺世，吳湖帆感念潘氏，便以《綠遍池塘草》為題，廣征圖詠。他交游遍海內(nèi)，數(shù)月之間，收到和界名流應(yīng)征作品一百數(shù)十件，其中有吳純齋、夏閏奄、趙叔儒、夏釗丞、趙云壑、吳待秋、馮超然，冒鶴亭、仇述庵、陳叔通、鄭午昌、汪亞塵、劉海粟、溥心畬、張大千、葉恭綽、沈尹默、馬公愚、鄭慕康、陸抑非等名家的作品。

　　江州伊立勛先生題曰：“鶯燕群飛憶早春，清詞麗句墨猶新。如何檢點(diǎn)妝臺(tái)冊(cè)，頓隔人天倍愴神。”杭縣陳叔通題；“風(fēng)流王謝蔚清門(mén)，梁普妝樓世澤尊。綠遍池塘春不住，珮環(huán)凄斷夜歸魂。”番禺葉公綽詞曰：“斗偈世緣空，永恨家山繞，梁景凄清似隔年，短夢(mèng)隨春老。調(diào)苦曲難終，淚浥香盈抱，莫問(wèn)他生與此生，綠遍池塘草。”

　　《綠遍池塘草》1940年問(wèn)世，吳湖帆親自作序，又自作畫(huà)一幀，并題《金縷曲》一詞，其中有句：“指望虹橋橋邊路，又青青一例年年掃，非痛器，即狂笑。”

　　吳湖帆折鸞之痛持續(xù)了2年多，直到1942年，他和顧抱真結(jié)婚才慢慢地解脫出來(lái)。