虚斋的主人是庞元济，庞元济（1864～ 1949 ），字莱臣，号虚斋。浙江吴兴 南浔人。 父 庞云鏳 为南浔镇巨富。庞元济于清光绪六年 (1880) 补博士弟子，赐举人，加四品京堂。早年好字画碑本，常描摹乾隆、嘉庆时名人字画，后从事字画生意。从光绪二十一年（ 1895 年）起，与人合资先后在杭州、塘栖开设世经、大纶缫丝厂和通益公纱厂。光绪三十年（ 1906 ）秋在上海与人合资兴办龙章机器造纸有限公司，任总经理。此外，在南浔、绍兴、姑苏、杭州等地开设米行、酱园、酒坊、中药店、当铺、钱庄等许多企业，并具有很多田产和房地产。
庞元济既具有财力，又精于鉴赏，保藏有书画、陶瓷器、铜器、玉器等文物，为其时全国最著名保藏家之一。
他保藏的古代紫砂器成果斐然，精品收入其另一编著《虚斋名陶图录》。该书两册，上册著录茶壶，下册著录文玩。录入明清两代制壶名家如陈和之﹑陈鸣远﹑陈曼生等著作数十件，件件皆精。《虚斋名陶图录》与《虚斋名画录》、《虚斋名画续录》稿本现藏于美国华盛顿国家博物馆。