《两只坏老鼠的故事》讲述了两只顽皮的小老鼠溜进娃娃屋把一些东西偷回到自己家的故事。这个故事是波特小姐在一段特别快乐的时光中创作出来的。那时候，波特小姐和她的编辑诺尔曼成了非常亲密的朋友。为了方便波特小姐作画，诺尔曼为她的两只宠物鼠做了一个新笼子，这两只宠物鼠就是故事主人公的原型；而这个故事中的玩具娃娃屋，是诺尔曼为自己最疼爱的小侄女维尼芙蕾德制作的。1904年，《两只坏老鼠的故事》正式出版了。这本小书出版后的第二年，波特小姐和诺尔曼正式订婚。