接著海瑞又娶了王氏夫人。王夫人比較爭(zhēng)氣，在海瑞到達(dá)淳安之前兩年為海瑞生了個(gè)兒子，取名中砥。海瑞到淳安任上之后的當(dāng)年，王夫人又為海瑞生了個(gè)兒子，取名中亮。王夫人還生了個(gè)女兒，不過什么時(shí)候生的不太清楚。嘉靖四十三年(1564)十月海瑞被調(diào)到北京戶部(財(cái)政部)工作，海太夫人不喜歡到寒冷的北方去生活，海瑞沒有辦法，只好讓王夫人攜同二男三女扶侍海太夫人從海瑞在江西興國縣令的任上南歸，而海瑞則帶了兩個(gè)仆人北上任職，這一年海瑞52歲。于此可知，當(dāng)年海瑞任淳安縣令的時(shí)候，他身邊至少已有兩個(gè)已經(jīng)十幾歲的女兒，和兩個(gè)年幼的兒子。

　　王夫人于隆慶二年(1568)七月二十四日晚上去世，據(jù)海瑞說是生病死的，但也有人說是自殺的，《萬歷十五年》說王夫人“于1569年在極為可疑的情況下死去”(1569年的說法有誤)。在王夫人去世前11天，海瑞的妾韓氏上吊自殺。這兩件事聯(lián)系起來，使海瑞的家庭生活變得撲朔迷離。韓氏為何自殺？王夫人到底因何而死？這些事已經(jīng)成了歷史之謎，但海瑞在官場(chǎng)上卻有了非常不好的名聲。〔1〕這時(shí)候的海瑞在南京任正四品的通政司右通政(相當(dāng)于副省級(jí)干部)之職，他是半年多前才到南京來的。那么，海瑞納韓氏為妾可能是在北京，也可能是到南京之后的事，無論哪種情況，韓氏跟隨海瑞的時(shí)間都不算長(zhǎng)。

　　必須交待的一件事是嘉靖四十四年(1565)十月海瑞上了震驚朝野的尖銳批評(píng)嘉靖的“直言天下第一事疏”——《治安疏》而在次年二月下獄，兩個(gè)兒子就在這一年死了，一個(gè)11歲，一個(gè)9歲，而海瑞已經(jīng)54歲了。可以想見，這個(gè)打擊對(duì)海家來說會(huì)是怎樣的致命。妻死妾亡，海瑞的心態(tài)如何呢？據(jù)一封寫給朋友的信件透露，海瑞說自己“每一思及，百念灰矣”，可見他未必是人們想象的那種無情之人，對(duì)妻妾也不是沒有感情。而釀成這樣的家庭悲劇，癥結(jié)可能還是出在已近八十高齡的海太夫人身上。

　　海瑞還有一妾姓邱，史料中只說她為晚年的海瑞生了一個(gè)兒子，但長(zhǎng)到三歲就夭折了。

　　海瑞于隆慶四年(1570)四月申請(qǐng)退休，獲準(zhǔn)后離開南京回家鄉(xiāng)瓊山閑居，從此離開官場(chǎng)15年，直到萬歷十三年(1585)正月已經(jīng)73歲時(shí)才重新回到官場(chǎng)，到南京任都察院右都御史及吏部右侍郎之職。邱氏什么時(shí)候所納史無明文，或許是海瑞在家鄉(xiāng)閑居時(shí)所納，但萬歷十五年十月十四日海瑞死的時(shí)候有“二媵四仆”〔1〕。媵是側(cè)室，也就是小妾。這二妾中有一個(gè)可能是邱氏，另一個(gè)則可能是重回南京后所納(因韓氏已死)。當(dāng)然，也不排除這二妾中邱氏不在內(nèi)的可能。假定這二妾一個(gè)是邱氏，一個(gè)便是政敵攻擊海瑞時(shí)所說“瑞已耄，而妻方艾”的那個(gè)“方艾”的女孩，那么海瑞也已經(jīng)有過三個(gè)小妾，這樣“六娶說”就不是高估，而是有確切證據(jù)的最低估計(jì)。