1943年4月，在李士群的安排下，潘汉年在南京与汪精卫进行了会面。尽管此会面对潘汉年的政治命运起到了关键作用，但当时他未预见到，这次会面会给自己带来困扰，尤其是在回到根据地后选择隐瞒此事。潘汉年当时负责情报联络工作，而日伪的军事动向直接关系到新四军的安全。李士群掌握了汪伪的情报系统，并与多个方面保持隐秘联系，潘汉年与他之间形成了特殊的情报合作。

这次会面并不是由潘汉年主动提起的。在上海得知李士群在苏州后，他经过几番周折才最终在南京见到对方。潘汉年在事后回忆时认为，李士群是故意将他安排到南京，以使其能接触汪精卫。潘汉年清楚汪精卫的背景，他是与日本合作的伪政权首领，因此这次会面的政治敏感性不言而喻。然而，从情报工作的角度，这种接触又相对罕见。李士群曾告知潘汉年，这次见面可能提供重要信息，虽然拒绝会面较为稳妥，但他也意识到不接触可能错失了解汪伪内幕的机会。

根据潘汉年的回忆，汪精卫在会中谈到“合作”，声称自己主张民主，而将蒋介石描述为独裁者，并提到共产党与汪伪合作的好处。潘汉年认为这些言论是在试探，并未形成任何实质协议。然而，潘汉年是否认为这次会面无需特别汇报，或者出于对新四军内部环境的顾虑，不愿留有记录，这两种原因可能交织在一起。

毫无疑问，1942年的黄花塘事件使得新四军内部矛盾公开化，饶漱石担任政治部主任期间对许多问题进行了严厉的批评，并希望加大影响。潘汉年与饶漱石的关系让他对后者的态度十分敏感。1943年，整风运动在根据地展开，干部的历史背景、政治态度会被重新审视。潘汉年秘密会见汪精卫，即使只是为获取情报，也容易被解读为动摇立场。万一这些信息被饶漱石知道，后果将不堪设想。

基于这种担忧，潘汉年决定暂时隐瞒。他或许认为自己未与汪精卫达成交易，事情不算严重；但他也意识到，情报人员私下与敌伪高层接触并不上报，性质完全不同。值得注意的是，汪伪方面随后对这次会面进行了宣传，消息逐渐传到了饶漱石耳中。饶漱石随即向中央报告，要求核查情况。潘汉年被调往延安，毛泽东亲自找他谈话，询问相关情况。

这是一个进行说明的机会。如果潘汉年当时如实交代，事情或许可以仅限于一次情报接触。但在询问中，他并没有主动透露在南京会面的经过，反而对外界传言进行了否认。毛泽东根据已有材料选择相信潘汉年，并认为相关信息可能是汪伪与国民党故意制造的舆论。此后多年，这段经历未能得到正式解答。1955年，中央处理高岗与饶漱石问题时，潘汉年终于交代了1943年与汪精卫会面的经过。

但这份交代为时已晚。毛泽东看到材料后，严厉批示：“此人从此不能信用！”这句话并非仅针对潘汉年接触汪精卫本身，而是他在组织询问后仍不坦白。作为一名长期从事情报工作的干部，隐瞒重要接触使得组织无法判断他究竟隐瞒了多少信息。最终，潘汉年被判刑十五年，后改为无期徒刑并被开除党籍。1977年，他在湖南去世，享年71岁。1982年，中共中央为潘汉年平反，恢复其名誉，骨灰安葬于北京八宝山革命公墓。

在这段历史中，饶漱石并非潘汉年受罪的直接原因，却是促使他隐瞒真相的背景因素。情报人员在复杂环境中的顾虑，经过时间的积累演变成了无法回避的问题。虽然南京会面的实际时间很短，但其影响却贯穿了潘汉年的后半生。