與胡因夢百日婚姻轟動
除了寫作和政治,李敖和女人的關係讓人樂道,李敖自己就說過他仇人多,朋友多,女人更多。網上根據李敖自傳的內容,指第一個與李敖談戀愛的女孩姓羅,李敖沒有提到她的名字,又坦言羅小姐是他的初戀,也堪稱生死戀。1955年秋,李敖考入台大,而羅也進了台大化學系。第二個女孩叫王尚勤,兩人的戀情開始於1962年2月;1964年9月,王在留學時,發現自己懷孕,不久在西雅圖生下李文,就是李敖後來一直後悔沒能陪伴成長的女兒。
現任妻子小31歲
在李敖生命中,劉會雲是第6個女人,由於她的穿針引線,出獄後的李敖得以出版《獨白下的傳統》,並由此復出,震動文壇。李敖的第7個女人則是明星胡因夢,1980年5月6日二人結婚,也是他的第一段婚姻,可惜百日後兩人便告離婚。現任妻子王志慧(王小屯)比李敖小31歲,應是李敖的第15個女人,兩人1988年6月完婚,並誕下兒子李戡和女兒李諶。
李敖毫不諱言自己喜歡看日本AV,稱最喜歡的AV女優是小澤圓。他還在微博透露,香港明星莫文蔚曾送給他裸照,並稱很欣賞該照片,也欣賞莫文蔚的「放浪形骸」。