徐志摩死后，陆小曼可谓是众叛亲离，王赓一出事，民间以讹传讹更是将其视为祸国殃民的不祥之人——代名嫒落得如此名声，可谓凄惨之至。
1933年清明，陆小曼独自一人来到硖石给徐志摩上坟，这是陆小曼第五次到海宁硖石，也是最后一次——徐家自始至终没能接受她。
此时，陆小曼的身边只剩下一个翁瑞午。
翁瑞午对陆小曼始终不离不弃，时常上门嘘寒问暖，给养供奉丝毫不差，其时陆小曼意志相当消沉，整天睡在烟塌上吞云吐雾醉生梦死，翁瑞午殷勤伺候，只要陆小曼开口，他无不尽力而为。
一次国民党禁毒抄家，发现陆小曼家有烟具，就把她关了一夜。第二天一早，翁瑞午到处托人打通关节，把她保了出来。
翁瑞午为陆小曼出头，无疑将两人的说不清道不明的关系再次展现在世人面前，上海滩的小报每天都编制一些花边新闻，陆小曼再次成为焦点人物——与“王赓丢地图”一样，完全是一边倒的责难。连在北京的胡适也看不惯了，写信给陆小曼，主要讲了三点：一、要顾及徐志摩的名声；二、跟翁瑞午断绝关系；三、到北京来，我养你！
陆小曼反问：你养我？你跟志摩一样，一介书生，养得起么？
陆小曼的胞弟陆效冰曾劝姐姐用自己的才华出去做点实实在在的事情，既可利己，又可利人，他说：“你的品貌、学问、才干、声誉，没一样不出人头地，为什么不贡献给社会？也等于散散心，免得郁郁寡欢。而且知道你的人很多，他们将欢迎之不暇，也不会使你委屈，而你还是名利双收。”陆小曼听了，答道：“第一，我不喜欢虚荣，第二，我不会服侍人家。”
名媛是需要男人们来供养的，倘若为了生活去对权威讨好，也就不是名嫒了！陆小曼绝对不会委屈自己。
此后不久，陆小曼与翁瑞午同居了，多半出于感恩——因为她并没答应嫁给翁，一直以徐志摩的未亡人自居。据王亦令所记，翁瑞午曾对他说：“……小曼可以称为海陆空大元帅。因为：王赓是陆军，阿拉（翁是江南造船厂的主任会计师）是海军少将，徐志摩是从飞机上跌下来的，搭着一个‘空’字。”当时陆小曼在场，虽然她被编派得有些过头，却不以为忤。
为了保证陆小曼的生活，翁瑞午可谓尽心尽力。陆小曼花费很大，出入小汽车，衣服和化妆品都要用最高级的，家里的佣人一直不曾减少。她依然热衷于购物，还向身边人叹苦经，说：“每月至少得花银洋500元，有时要高达600元，家难当。”按那时候的物价，五百多银元相当于现在的五六万人民币。
翁瑞午也有老婆孩子，一大家人都靠着他，可是他对陆小曼无微不至，只要陆小曼“过得比他好”，要他怎么样付出都可以，什么事情都习惯说：“我来，我来！”