这个要看下具体情况，也就是说你选择对方付费的话，有没有先和收方确定好他那边付费。因为一般这种情况，都是双方确认好的，由一方来付运费。
然后，要看下是什么原因收方拒收。如果是因为运输问题（比如货物破损、货物丢失、投递延误、服务恶劣等等），收方拒收，那么快递方不但不应该收取运费，更要承担赔付。
如果不是运输原因，收方拒收，或者是快递公司无法联系到收方，包裹只能退回给你，那么来回运费是由你承担的。但按照流程，如果包裹要退回给你，快递公司是应该先和你联系的，不能在没有弄清情况的前提下，自说自话把包裹给你退回来，然后要你支付双倍运费。
扩展资料：
延误索赔
2012年5月1日起，快递服务系列国家标准正式实施。该标准规定，同城3天、异地7天快递还没有到就算彻底延误，可向快递企业索赔。
2012年5月28日起， 网上购物遭遇送货难，节假日上门送货不准点，超3天未送达每件快递最高赔10元。由中国快递协会牵头，全国9大快递企业与国内最大电商网购平台，天猫签署战略合作协议，共同打造电商社会化物流新标准。
2012年5月28日，签署战略协议的包括国内EMS、顺丰、申通、圆通、中通、韵达、宅急送、百世汇通、海航天天，基本上全面涵盖了国内物流的一线阵营，其快递业务量占整个国内网购快递市场份额超过90%。
延误赔偿应为免除本次服务费用（不含保价等附加费用），由于延误导致内件直接价值丧失，应按照快件丢失或损毁进行赔偿。
消费者如遇快件延误、丢失及损毁，可先向快递企业投诉。如企业推诿、对处理结果不满意，消费者可向管理部门申诉。
参考资料来源：百度百科--快递费
参考资料来源：百度百科--快递
根据快递协议规定货物发出去后买家拒签的那退回之后商家需要支付单程寄出去的运费；
如果是货到付款的订单，买家拒签后，发货人是有权益追究买家的责任，可以让买家支付单程运费，如果是现付后拒签的，那运费买家是不用支付的；
如果是地址对了 对方不收那就得买家掏邮费 你可以在他付款中扣掉邮费
如果是快递的问题 你可以让快递给你退邮费 或者让他从新给你发本回答被提问者采纳
如果是寄件人要求退回 那么寄件人需要再支付一次退回的邮费
据听说邮局的退回如果是寄件人要求的 寄件人需要再支付退回邮费
如果不是寄件人要求因为特殊原因退回的不收费