方以智是安慶府桐城縣鳳儀里人(今屬安徽桐城市),出身士大夫家庭。方氏是桐城地區(qū)這一時(shí)期主要的世族。曾祖父方學(xué)漸,精通醫(yī)學(xué)、理學(xué),并且能學(xué)習(xí)諸子百家,融會(huì)貫通,自成體系 ,除記錄赴東林講學(xué)的《東游記》外,著有《易蠡》、《性善繹》、《桐夷》、《邇訓(xùn)》、《桐川語》等。祖父方大鎮(zhèn)在萬歷年間,曾任大理寺左少卿,著有《易意》、《詩意》、《禮說》、《永思錄》、《幽忠錄》等數(shù)百卷。因方學(xué)漸曾受學(xué)于泰州學(xué)派的耿定理,《明儒學(xué)案》把他列入《泰州學(xué)案》。外祖父吳應(yīng)賓,精通釋儒,著有《學(xué)易全集》、《學(xué)庸釋論》、《宗一圣論》、《三一齋稿》等。父親方孔炤,萬歷四十四年進(jìn)士,崇禎朝官至湖廣巡撫,通醫(yī)學(xué)、地理、軍事,并且較早地接觸西學(xué),主張研習(xí)經(jīng)世致用的知識(shí),著有《周易時(shí)論》、《全邊略記》、《尚書世論》等有《全邊略記》等著作,《明史》有傳?!吨芤讜r(shí)論》被《四庫提要》列入存目。這書對(duì)方以智影響很大,方一生中經(jīng)常提到它。
方以智自幼秉承家學(xué),接受儒家傳統(tǒng)教育,他從小由母親和姑姑一起撫養(yǎng)長大。姑姑方維儀是明大理少卿方大鎮(zhèn)之女,姚孫棨之妻,少年寡居。方維儀頗有才氣,是當(dāng)時(shí)有名的女詩人。曾隨父宦游,至四川嘉定、福建福寧、河北、京師等地,見名山大川,歷京華勝地,閱西洋之書,頗長見識(shí)。除了家學(xué),他所授業(yè)的老師亦都是當(dāng)時(shí)的著名學(xué)者。白瑜,長于詞賦經(jīng)史,崇尚實(shí)學(xué)。王宣則專攻名物訓(xùn)詁和《河》、《洛》之學(xué),治學(xué)嚴(yán)謹(jǐn),是當(dāng)時(shí)治《春秋》的大家。傅海峰則是當(dāng)時(shí)的名醫(yī)。另外,家中還有藏書豐富,被譽(yù)為“兩間皆字海,一盡始羲皇”的稽古堂。在這樣的環(huán)境中,少年時(shí)代的方以智受到了濃厚學(xué)術(shù)氛圍的熏陶。由于其祖輩都直接或間接同東林黨有關(guān)系。他從小也養(yǎng)成了關(guān)心時(shí)世的習(xí)慣。十四歲時(shí),曾徒步到數(shù)百里外的考場參加會(huì)試,以此來磨煉意志。
成年后,方以智載書泛游江淮、吳越間,遍訪藏書大家,博覽群書,四處交游,結(jié)識(shí)學(xué)友。在他的學(xué)友中有西洋傳教士畢方濟(jì)與湯若望,并閱西洋之書,從他們那里,方以智學(xué)習(xí)了解了西方近代自然科學(xué),從而更加開闊了視野,豐富了學(xué)識(shí)。他認(rèn)為:“今天下脊脊多事,海內(nèi)之人不可不識(shí),四方之勢不可不識(shí),山川謠俗,紛亂變故,亦不可不詳也。”他曾作詩曰:“繁霜如雪孤南征,莫道能無故國情。斥抱揄方始大笑,牽牛負(fù)軛總虛名。凌云久動(dòng)江湖氣,杖劍時(shí)成風(fēng)雨聲。海內(nèi)只今信寥落,龍眠山下有狂生?!北磉_(dá)了自己非凡的政治抱負(fù)。為諫議皇帝選賢用能,革除弊端,實(shí)行某些改革,曾寫了《擬求賢詔》、《擬上求治疏》、《擬上求讀書見人疏》等,決心以襄扶明朝中興為己任。他曾在《書鹿十一傳后》中表示要“挹東海之澤、洗天下之垢”。曾與張溥、陳子龍、吳偉業(yè)、陳貞慧、吳應(yīng)箕、侯方域等主盟復(fù)社,裁量人物,諷議朝局,人稱“四公子”,以文章譽(yù)望動(dòng)天下。方以智的父親方孔炤任湖廣巡撫時(shí)被楊嗣昌彈劾下獄,方以智懷血疏訟冤,方孔炤這才得釋。一時(shí)傳為佳話。