這桂花樹原本長在西南一帶，南州并不多見，潘氏移栽時，尚還擔心桂樹水土不服，有礙生長，卻不料兩棵桂樹，植根于南州大地、潘宅泥土后，如有神助，冒尖先進，每天秋季，其香既濃郁又清淡，從潘宅溢出來，飄滿了整條街巷，潘家且敞開大門，任街坊鄰居進來聞香，也可摘掉過于密集的一部分桂花，以便來年生長的空間更大。

這樣一條桂香飄逸的街，再叫原來的名字，實在不相符合了，桂香街名便應運而生了。

從桂香街開始，南州人開創了喜愛種植桂樹的風氣，由于桂樹的茂盛，桂花的繁華，以桂花相佐的南州糕點食品小吃的名氣日益增長，久而久之，這里就形成了美食名吃一條街，街上名吃小店遍布，名吃品種眾多，不僅南州人人向往之，連遠方的客人，也都慕名而來。

潘家的末代大少爺潘伯煊，生于１９４７年秋天，從吃奶起，就拌著桂香在生長，長到兩三歲時，竟已經能夠和家里的下人一起，用桂花做出各種點心食物飲品，桂花糕，桂花圓子，桂花糖藕，冰糖桂花，桂花酒，桂花茶，桂花醬，桂花蜜，那些年的桂樹園大宅子里，怎一個“桂”字了得。

在１９５８年私房改造前，潘家人一直住在老宅，除了接納了幾戶外來的遠親和一些下人的家眷，別無他人。私房改造時，桂樹園定性為經租房，潘家老小擠進了兩間小廂房，其他房屋全部由國家出租給經濟困難無房可住的人民群眾。

潘家人養尊處優慣了，哪有什么工作能力，個個手無縛雞之力，家庭幾乎沒有了收入，改造前還能靠房租生活，改造后就全無著落了，潘伯煊的一個叔父，流落到公園拉二胡，任人賞一兩個小錢，也和乞丐差不多少了，另一個叔父則靠出賣家中舊物生存，也基本上是茍延殘喘了。