“先有潭柘寺，后有北京城”的古老民谚，将人们带入无尽的遐想。说起潭柘寺的古老，不得不提及寺院内的古树。寺内现有国家一、二级保护古树186棵，其中有乾隆皇帝钦命的银杏树“帝王树”、有“华北柏树王”的千年柏、有华北地区树龄最长的七叶树等众多古树。古树是历史的见证，是地域的名片，是植物的活化石，更是人们了解潭柘寺古老的最直接的物证。
银杏（学名：GinkgobilobaL.）为银杏科、银杏属落叶乔木。银杏出现在几亿年前，是第四纪冰川运动后遗留下来的裸子植物中最古老的孑遗植物，现存活在世的银杏稀少而分散，几百岁的老树更不多见，和它同纲的其它植物基本灭绝，而银杏不但生存下来了而且寿命还很长，是树中的寿星，所以有“千年虫”、活化石的美称。因其叶子形似鸭掌，古又称“鸭掌树”；又因其果实“似小杏而核白”，从宋代改称为银杏，俗称白果；还因其生长缓慢，自然条件下从栽种到结银杏果要二十多年，四十年后才能大量结果，因此又有人把它称作"公孙树"，既有"公种而孙得食"的含义。
在潭柘寺内有四株一级古银杏树，它们准确的种植年代已无从考证，但它们无疑已经成为了潭柘寺历史久远的象征和皇家寺院的标志。其中，最茂盛的当属原斋堂院内东侧的一株高达40多米，直径4米有余，六、七个人才能合抱，遮阴面积600多平方米。据推断此树约植于唐贞观年间，至今已有1400多年了。
清代乾隆皇帝来寺游览时，看到此株枝叶繁茂、茁壮异常的银杏后叹为观止，即兴而发，御封钦典为“帝王树”；与其相对，西边的这株略小的银杏，人们认为有皇帝就应该有娘娘，所以，被称其为“配王树”，“配王树”的名号即不是皇帝御封的，也不是名副其实的“娘娘”，而两株都是雄性的银杏。在其东侧的行宫院内也有两株银杏，左右相对而生，这两株则都是雌性的，每年秋季果实累累。这种雄雄相配，雌雌相对的现象是有意为之，还是乱点鸳鸯至今仍是一个未解之谜，还有待破谜者继续探研。
“帝王树”是迄今为止，皇帝对树木御封的最高封号。不论是泰山的“五大夫松”和北海团城的“遮荫侯”、“探海侯”、“白袍将军”，甚至是东汉光武帝刘秀所错封的椿树为“树王”的职位，都没有这株银杏的封号高。“帝王树”是树木中的“皇帝”。无论是皇帝的金口玉言，还是偶然中的必然，或是时间空间的巧合，授封后的“帝王树”对清王朝的更迭似有神奇的灵验。在清代乾隆帝后每当新皇帝登基，帝王树便从根部生出一枝粗壮的树干，以后逐渐与老干合为一体；每当一位皇帝驾崩之前就折断一叉树枝。当咸丰朝所生出来的树干，恰恰被寮房屋檐挡住止而不长，果然咸丰帝时间不长便在热河一命呜呼；到了同治朝，所生树干忽然一天，山风骤起，风虽不大，唯独帝王树一新枝被一股风吹倒，当朝所生的枝干“咔嚓”一声，瞬间被风折断。不久，在旁边又长出了一新枝，即形成了一干两枝，这恰恰暗合同治帝与光绪帝兄弟相承，同登大宝的事实；清朝末代皇帝爱新觉罗.溥仪到潭柘寺来游玩时，曾手指着帝王树上东北侧一根细干，未与主干相合的侧干，自言自语的戏说：“这根小树就是我，因为我不成材，所以它才长成歪脖树。”
“帝王树”的神奇还在于每年的秋季银杏树的金黄色的树叶挂满全身，恰似一位黄袍加身的皇帝或身披黄色袈裟的高僧屹立在此，虔心向佛。
潭柘寺如今络绎不绝的人们，除对佛祖虔诚供奉外，更慕名“帝王树”的神奇。其实，潭柘寺旃檀殿门两侧“行善虽无人见，积德自有天知”的楹联，就是对人们来寺最好的启示。好坏自在人心，善恶皆由自己。
