根据市场组织形式，债券流通市场又可进一步分为场内交易市场和场外交易市场。
是专门进行证券买卖的场所，如我国的上海证券交易所和深圳证券交易所。在证券交易所内买卖债券所形成的市场，就是场内交易市场，这种市场组织形式是债券流通市场的较为规范的形式，交易所作为债券交易的组织者，本身不参加债券的买卖和价格的决定，只是为债券买卖双方创造条件，提供服务，并进行监管。场外交易市场是在证券交易所以外进行证券交易的市场。
为场外交易市场的主体。许多证券经营机构都设有专门的证券柜台，通过柜台进行债券买卖。在柜台交易市场中，证券经营机构既是交易的组织者，又是交易的参与者，此外，场外交易市场还包括银行间交易市场，以及一些机构投资者通过电话、电脑等通讯手段形成的市场等。目前，我国债券流通市场由三部分组成，即沪深证券交易所市场、银行间交易市场和证券经营机构柜台交易市场。
现代意义上的中国债券交易市场从1981年国家恢复发行国债开始起步，历经20年的发展，经历了实物券柜台市场为代表的不成熟的场外债券市场主导、上海证券交易所为代表的场内债券市场主导到银行间债券市场为代表的成熟场外债券市场主导的三个阶段的发展过程。
中国1981年恢复发行国债之后，经历了长达7年的有债无市的历史过程。而债券市场的起步，还要从1988年，财政部在全国61个城市进行国债流通转让的试点开始算起。这是银行柜台现券的场外交易，是中国国债二级市场的正式开端。
1990年12月上海证券交易所成立，开始接受实物债券的托管，并在交易所开户后进行记账式债券交易，形成了场内和场外交易并存的市场格局。但1994年前交易所的交易量一直很小。当时债券市场的主要特点是不记名的实物券没有统一的托管机构，而是发行后再分散托管在代保管机构，交易只能在代保管机构所在地进行，不能跨地区交易。
1994年以后，机构以代保管单的形式超发和卖空国库券的现象相当普遍，市场风险巨大。以各级财政部门的国债服务部、信托和证券公司为主的无记名实物券国债柜台转让市场，因滥发假国债代保管单而被关闭。以武汉证券交易中心等为代表的区域性国债回购市场，由于虚假的国债抵押，而市场回购资金又有相当部分投向房地产或股市，导致它们在1995年的最终关闭。
作为场外债券市场的实物券交易柜台失败了，尽管其原因很多，但关键在于没有记账式债券作为市场的基础。由于实物券难以搬运，必然导致托管的分散，其结果是托管的真实性很难监管。事实证明，不论债券交易采取何种形式，前提都需要记账式债券和统一的托管。
1994年财政部发行国债1028亿元，比上年增加近两倍，从而也促进了交易所债券交易的活跃。更为重要的是，这一年，交易所开辟了国债期货交易，在其配合之下，交易所债券市场的债券现货交易开始明显放大。这种状况一直维系到1995年5月，之后因国债“327”事件，国债期货市场关闭，交易陡然萎缩。
当时，财政部和市场管理部门将实物券流通中所发生的问题，归因于场外市场的存在，并认为记账式债券是交易所才可能拥有的特性。随即，1995年8月，国家正式停止了一切场外债券市场，证券交易所变成了中国惟一合法的债券市场。
1995年财政部仅试点发行了117亿元的记账式国债，到了1996年，记账式国债开始在上海、深圳证券交易所大量发行。这一年，证券交易所发行了六期共1 116.7亿元的记账式国债，占当年国债发行量的52.5%。同时，二级市场成交量也迅速放大，1996年上海和深圳证券交易所债券成交量比1995年增长了近10倍，其中上海证券交易所占成交总量的95%以上。同时，随着债券回购交易的展开，初步形成了交易所债券市场体系。
1997年，金融体制改革的需求和偶然外部事件的推动，使得中国的场外债券市场获得了历史契机，以银行间债券市场的形式出现，并得以快速发展。
从当时的情况看，全社会对建立场外债券市场的需求主要体现在三个方面：一是中央银行要进行直接货币政策向间接货币政策的转轨，没有成熟的场外债券市场制约了间接调控体制的建立。中央银行的公开市场操作必须依托于规模大、流动性好的场外债券市场来进行，1996年人民银行开始进行债券的公开市场操作，由于没有中国场外债券市场的支持，1997年初就停滞了；二是国家要实施积极的财政政策，只有以机构为主的场外债券市场才能支持大规模的国债发行；三是商业银行需要通过债券回购市场解决银行间的融资问题，同时需要增加债券资产比重以改善自身的资产结构，这些都必须有场外债券市场作为基础。