上海公共外交协会是一个设有办公室、国际联络组和信息与合作交流组的机构，这些部门分工明确，协同推进公共外交工作。
首先，办公室作为协会的核心管理部门，主要职责包括内部组织管理、协调统筹，领导事务的处理以及文件资料的起草。它还负责与理事、会员以及相关单位的沟通联络，确保会议的顺利进行，如会员大会、理事会等。同时，办公室负责人事管理、财务管理、后勤保障和党建工作，确保协会的日常运营有序进行。
国际联络组则专注于对外交流，致力于与境外类似组织建立紧密的联系，接待来访的境外友好团组，组织出国考察交流研讨，尤其关注城市公共外交，推动国际城市间的友好合作。它为上海与国际间的经贸、文化和社会事业合作提供支持和桥梁作用。
信息与合作交流组作为沟通内外的纽带，与全国政协、全国友协以及政府相关部门保持紧密联系，加强合作与交流。该组进行政策研究和形势分析，收集公共外交信息，并编辑协会内部刊物。此外，它还与学术研究机构合作，组织专业会议、研讨会，建设和管理协会网站，以及与新闻媒体合作进行对外宣传报道。
2011年02月25日，上海市全市公共外交领域111家企事业单位、社会团体和122名个人参与组成的社会团体上海公共外交协会，在沪举行成立大会。协会旨在总结运用上海世博会公共外交经验和成果，服务国家整体外交和发展大局，为促进上海改革开放和现代化建设、增进中外人民理解与合作发挥平台和桥梁作用。