怀海，俗姓王，福州长乐人。
儿时曾随母亲到寺庙烧香拜佛，怀海手指佛像问道：“这是什么东西？”其母亲答道：“这是佛像。”
怀海朗声道：“样子就跟真人一般，今后我也一定要作佛。”因有此信念，所以怀海很早就出家了，并从衡山法朗受了具足戒。
后又往庐江浮槎(chá)寺，批阅藏经多年，听说马祖道一在南康开法，即前往参学。
他侍奉了道一六年。
据说有一天，怀海问马祖：“如果突然有人来问佛法时该怎么办？”马祖未吭声，只是把拂子拿过来举示了一下。
怀海又问：“只有这个，还有别的吗？”马祖又将拂子放回了原处，反问怀海：“今后你将如何接引学人？”
怀海也把拂子拿过来举起。
马祖又问：“只有这个，还有别的吗？”怀海也把拂子放回了原处。于是，马祖就大喝了一声，这“振威一喝”，使得怀海耳朵聋了三天。
耳聋就不闻“声尘”，也就是“反闻自性”、“回光返照”的意思。
有一次，怀海随马祖行走，看到一群野鸭子飞过。
马祖问：“是什么？”
怀海答：“野鸭子。”
马祖又问：“到哪里去了？”
怀海答：“飞过去了。”
于是马祖扭住怀海的鼻子，怀海痛得大叫起来。马祖说：“你说它们飞过去了，但它们从开始就一直在这里。”
这使怀海汗流浃背，他得悟了。这就是禅宗史上有名的“野鸭子”公案。
马祖通过野鸭子飞过这件事来启发弟子，要由平凡小事照见佛性，可是怀海开始时显然被外境所“蛊惑”，没有悟得，马祖才下手扭痛他的鼻子，并点示一句，这样怀海才“顿悟”。
怀海得到了马祖的印可。
道一圆寂之后，怀海到了石门，后来又来到了新吴，今江西奉新县，住大雄山。
大雄山岩峦高峻挺拔，故又称“百丈山”，后人也就称怀海为“百丈禅师”。
怀海在江西弘扬禅风，四方学禅的人都闻名赶来跟他学。其中以沩山灵祐、黄檗希运两位，最为上首。
百丈常开示大众：灵光独耀，迥脱根尘。体露真常，不拘名字。心性无染，本自圆成。但离妄缘，即如如佛。
意思是说，灵光独自闪耀，就可以脱离尘世的牵累。本性显露，真理永恒，无须拘泥于语言文字，心性清净，没有污染，本来就已圆满完成。所以只要远离虚妄尘缘，就可以觉悟。
这也就是慧能“心性本静”、“顿悟成佛”的意思。这话的意思平实简朴，而且圆透中肯。
怀海每逢说法下座，众人已出去，他就招呼众人，待众人回头时，他却问：“是什么？”
“是什么”这三个字，在禅林中称为“百丈下堂句”，也是提醒学人内省的方法。