吉行さんの母は、日本の美容師の草分け的存在だった吉行あぐりさん(2015年死去)。その美容師にかける情熱と波瀾(はらん)万丈の人生は、1997年4~10月に放送されたNHK連続テレビ小説「あぐり」のモデルとなった。ヒロインは田中美里(48)が務めた。猛烈に働きながら3人の子供を育てた母の背中と、家庭の温かさに縁遠かったことが吉行さんの女優としての原点となった。
父は詩人で、34歳で早世。あぐりさんが一家を支えてきた。吉行さんは「母に怒られた記憶がない。働くことで精いっぱいで子供に目が届かなかったのだろう」と振り返っていた。幼少期には、恋しさに母の手袋をはめて寝ていたという。寂しさを抱える一方で、ぜんそくの吉行さんに「物凄く忙しいのに、(ぜんそくに効くという)湿布を貼り替える時刻になると、仕事場から走ってきてまた行ってしまう」と母の愛情も感じていた。
あぐりさんは97歳まで現役で働き、吉行さんも「仕事があればそれでいい」と女優業を何よりも大切にした。「そういう意味では母に似ているの可能性があります」と母の存在が吉行さんに大きな影響を与えた。
兄の淳之介さん(94年死去)は54年「驟雨(しゅうう)」で、妹の理恵さん(06年死去)は81年「小さな貴婦人」でともに芥川賞を受賞。淳之介さんは女性関係が話題となることも多かった。女優の宮城まり子さん(20年死去)とは婚姻届を出さず、パートナーとして生涯を共にした。
「兄のゴタゴタを見ていたから、結婚が幸せなイメージはなかった」と語っていた吉行さんは、28歳で結婚したが4年で離婚。それ以降は独身だった。「みんなそれぞれ好きなことをしている感じ。ちょっと変わった家族」の中で、独特の存在感を育んだ。