目前比较常用的有两种方法。
第一种是直接从河两端一定距离外开始打洞，一直往下降，最终从河床底穿过。
第二种是预置管段，用大型机械在指定位置投放，使其自然下沉，然后在河里将所有的管子用水里压接法连接做到滴水不漏。当然第二种方法的管段不可能直接接到地面上来，在河两端依然存在暗埋段和敞开段，用以与河两端的道路或铁路接通。
第一种说白了就是明挖法法开个洞口，然后浅埋暗挖法类似斜井的打到一定标高，穿过河底，最后再打上来。
第二种说白了就是沉管法，全程预制管段沉埋法，预置的管段两端用临时封墙密封，待定位后，灌水压载，使管段沉放到预先挖好的水底沟槽中，然后与其它的管段进行水下连结。每节管段的长度一般为60到140米，目前最长的已达到268米。
水底隧道的主要施工方法有盾构法、矿山法、围堰明挖法、气压沉箱法和沉管法。
盾构法和矿山法就是先前提到的第一种方法，盾构法适用于软土岩层，石头硬了，盾构机的刀片挖不挖得动不说，挖动了损坏也重。矿山法适用于岩石地层，通俗点就是炸药去炸，跟炸矿山一样。。。气压沉箱法适用于水面较窄、深度较小的河道，反正黄河上用不了。围堰明挖法就像你猜想的那样，把水截了，直接在河床底往下挖，全部做好以后回填，最后通水，比较麻烦而且阻碍交通。沉管法已经介绍过了。
以上部分出自个人经验，大部分参考彭立敏老师编著的《地下铁道》。
参考资料：《地下铁道》 彭立敏编