庐隐原名黄淑仪，又名黄英，父亲是前清举人，母亲是一个旧式女子。在庐隐出生前，已经有了三个哥哥，父亲很想再要一个女儿，结果如愿以偿，1898年5月4日庐隐在福建省闽侯县城内降生。
也许冥冥中上天在赋予这小女婴才华的同时，也给她降下诅咒——就在庐隐出生当天，她的外祖母去世了。
这种“新人换旧人”之事，在传统的观念中很不吉利。母亲认定女儿是一颗灾星，视其为“不祥之生物”，甚至不愿哺乳，便雇了一个奶妈喂养。
婴儿时代的庐隐瘦小干涩，身上长满疮疥，脾气大且好哭，到3岁的时候既不会说话也不会走路，母亲和哥哥都极为讨厌她。
小庐隐仿佛知道自己在家庭中不受欢迎，从来不主动跟母亲和哥哥亲呢，除了与保姆家的孩子玩耍，就是一个人对着花草发呆。
4岁的时候，小庐隐患上了热病，一连几天高烧不退，差点丢了性命。父亲责备母亲没能好好照顾她，本来就迷信的母亲非常烦躁，跟父亲大吵一场，后来干脆将庐隐送到乡下奶妈家。慈祥的奶妈可怜这面黄肌瘦的大小姐，将庐隐带在身边悉心照料。小庐隐成年后一直很怀念着这段幸福的乡间生活，在她的中篇小说《海滨故人》中借主人公的身世折射自己：露沙住在奶姆家里，整整地过了大半年。她忘了她的父母，以为奶妈便是她的亲娘，银姊和小黑是她的亲姊姊。朝霞幻成的画景，成了她灵魂的安慰者。斜阳里唱歌的牧童，是她的良友，她这时精神身体都十分焕发。
6岁的时候，庐隐又被带到父母身边，可此时的她根本无法融入这个家庭了，她觉得自己是异类，总是一个人沉默着，不跟父母哥哥说话，而且相当倔犟，无论是威胁利诱都不为所动。
如果能够学会讨好、依顺，她幼年至少年的生命也不至于如此的辛凉，可她“执拗的脾气……无论别人怎样冷嘲热骂，还是我行我素……”
当时父亲调任湖南长沙，一家人乘船前往。在到长沙的途中，庐隐并不知道此行是随父亲去享荣华富贵，也许是觉得离奶妈更远了，也许是害怕，她在船上不吃不喝，终日对着河水哭闹，谁劝都无用，后来惹得父亲心头起火，提起她便向水中抛去，幸亏旁边一个听差眼疾手快，立刻跳下船将她救了起来。
人家的大小姐都是捧在手心含在口里，唯有庐隐是个丫鬟的命，上天对她的折磨几乎无休止：父亲在长沙履职不到半年，突发心脏病而去世，庐隐一家孤儿寡母顿时失去了生活来源，陷入愁云中。
在农工商部任员外郎兼太医院御医的舅舅得知这一情况后，发电报让姐姐带着孩子去他家居住。舅舅学识渊博医术精湛，深得朝廷器重，因此家大业大，亲戚们都在大树下乘凉，住在舅舅家的孩子们就有二十来个——要么是庐隐的表兄弟姐妹，要么是舅母的侄子侄女。
母亲将湖南的家当变卖了，加上父亲历年的积蓄合计两万块现款，略微收拾了下行李，便带着四个孩子北上京城。
在舅舅家，性情孤僻的庐隐几乎不讨所有人喜欢。适时庐隐已到了要上学的年纪，很没耐心的姨妈担任了她的启蒙老师。姨妈的教育方式非常简单，既然这小侄女倔犟，那就让她倔到底。每天上午，姨妈教一课仨字经》，就让庐隐自己背诵，接着将房门反锁，直到中午来检查。如果庐隐背不出来，立马竹板伺候，有时还不给饭吃。母亲坚决站在姨妈这边，根本不心疼女儿—一她总认为女儿是“灾星”，出生就克外祖母、6岁又克父亲，而且沉默寡育，眼里总是充满着哀怨，跟谁有仇似的。
自幼得不到丝毫母爱，庐隐对读书也没有一点兴趣，每每从门缝向外望，《庐隐自传》中提到这段往事：有时听见哥哥们在院子里唱歌，或捉速藏，我的心更慌了，连忙把书丢在一边，一窜两跳的爬上桌子，用口水把窗纸舔湿了，戳成一个洞，一只眼睛贴着洞口向外看，他们笑，我也跟着笑，他们着急，我也跟着心跳，一上午的光阴，就这样消磨尽了。等到十一点多时，我听见门外姨母的脚步声，这颗幼稚的心，便立刻沉到恐惧和愁苦的旋涡里去……可是即便经常挨打，庐隐依然任性，“我也不管那些，每天仍然任着性要念书就念，不念一就是挨了打还是不念……