1936年，胡蝶与丈夫潘有声回乡省亲的一张合影，引出一段流传多年的民国轶事。坊间广为流传的版本出自沈醉《我所知道的戴笠》。

1941年香港沦陷，胡蝶夫妇辗转奔赴大后方，途中三十箱财物遭劫匪洗劫。抵达重庆后，身为胡蝶影迷的戴笠动用军统力量帮忙追查失物。传言戴笠借机贪恋胡蝶，把潘有声派往云南任职，将胡蝶安置于歌乐山公馆软禁同居，计划战后迎娶她。直至1946年戴笠坠机身亡，胡蝶才得以脱身，与丈夫重聚，后迁居香港。

但胡蝶晚年口述自传对此明确否认。她称和戴笠仅有正常社交，丈夫赴滇经商属于正常生意往来，并无软禁霸占一事，传闻皆是后人以讹传讹。
时至今日，并无档案、当时报刊等一手史料佐证同居之说，故事主要源于回忆录，成为民国一桩悬案。

不过几件史实可以确定：胡蝶逃难重庆财物被劫，戴笠确曾协助追查；潘有声战时在滇缅经商，和军统存在业务往来；戴笠离世后，夫妻二人离开重庆赴港相守，潘有声1967年于香港离世，胡蝶晚年定居加拿大，1989年辞世。