广州光孝寺原是南越国第五代王赵建德的住宅，后汉武帝平南越，广州城毁，该宅亦被废。三国时，吴国骑都尉虞鄱颇有才学，曾为《易注》。然而，虞翻恃才傲物，屡犯颜直谏，令孙权不忍，将其贬往南海，虞翻举家放逐到广州后，便住在直建军德的故宅处。虞翻不甘埋没，他说“自恨疏节、骨体不媚，犯上获罪，当长没海隅。生无可与语，死以青绳为吊客，使天下一人知已者足以不恨。”于是他在住处设帐讲学，门徙尝数百人。这在当时荒蛮的岭南是一个了不起的事，后人以“树木树人，功不可没”赞誉他为岭南文化发展的贡献。
　　虞翻死后，其妻捐宅为寺，名曰“制止”，此为光孝寺最早的来历。东晋安帝时，克什米尔人85岁僧昙摩耶在虞翻帮宅假冒建军大殿五间，名王园寺。至梁武帝初年，天竺僧人智药禅师从天竺携来菩提树苗，植于寺中。梁武帝中期（526年），天竺国王子菩提达摩经过三年泛舶抵太广州，并在光孝寺设道场，后转入嵩山少林寺面壁九年，成为中土禅宗初祖。
　　后六祖惠能也与光孝寺颇有渊源，惠能在湖北东山寺出家，因一偈：“菩提本无树，明境亦非台，本来无一物，何处惹尘埃”而得五祖衣钵相授。因恐同门不服，加害其身，逃至广东，隐于一打猎队中。一日，他去光孝寺，刚好印宗法师讲经，这里风吹幡动，一僧说负动，一僧说幡动，议论不休，众莫能解，惠能听后，插言“不是风动，不是幡动，仁者心动。”满座骇然，印宗法师得知其为五祖衣钵传人后，马上行礼，拜惠能为师，并在菩提树下为惠能削发受戒。第二年，惠能即到韶关宝林寺创立了禅宗南派。