退伍军人的档案在退伍时应该由部队移交给地方，
武装部负责先接收，然后转到当时负责的民政局。最终根据工作安置的情况或者落户的情况将档案发往单位或者街道、村委会等地。不知道你为什么却把档案拿到自己手里了。请你说清楚这个原因，闭口不谈这个情况，就说明这里面肯定有玄机或者不合法的地方。如果武装部拒绝接收，就肯定有不接收的理由告诉你。但你也闭口不谈为什么武装部不接收。说明你有心虚的地方。
如果你的档案是违反正规移交手续获得的，那么你自己就应该对这个事情负责，而不是很多年以后又想起来，再把自己的危机和错误转嫁给别人负责。你托人上交，被打回，丢失的部分应该找那个人索要。要不回来，就毫无办法。谁让你随便这么相信他的呢，也是你自己的责任。
最终该怎么办，必须要看你幕后的具体情况。让大家来猜测和只听一面之词的说法是不公正和不准确的。