在奏折中写道：“匈奴虽退，然其贼心未死，若不筑城防御，日后必卷土重来。臣愿率军民，连接秦、赵、燕三国旧长城，筑成一道万里长城，以固我大秦北疆。”嬴政看了奏折，觉得有理，当即准奏，命蒙恬总领其事，调发民夫五十万，与三十万秦军一同修筑长城。
蒙恬亲自带着工匠和斥候，沿黄河而行，勘察地形。走到贺兰山时，见山势险峻，易守难攻，便决定在此处筑城。可这贺兰山的岩石坚硬如铁，民夫们用錾子凿，用锤子敲，一天也凿不了几尺，不少民夫的手都磨出了血泡，甚至崩裂了伤口。蒙恬召集工匠们商议对策。有个年过六旬的老工匠，姓刘，跟着祖辈修过赵长城，他对蒙恬说：“将军，老奴有个法子，先把石头烧热，再泼上冷水，石头一热一冷，就容易裂开，到时候凿起来就省力多了。”
蒙恬听罢，立刻下令照办。民夫们堆起柴火，围着岩石烧了一夜，柴火堆得比人还高，火光映红了半边天。次日清晨，蒙恬亲自带着士兵，提着水桶，将冷水泼在烧红的岩石上。只听“咔嚓”“咔嚓”的声响不绝于耳，岩石果然裂开了一道道缝隙。民夫们见状，干劲大增，拿着錾子和锤子，很快就凿出了大片石料。蒙恬还让人把这些石料加工成方形，这样垒起来更加稳固。
这长城的修筑，可不是简单的堆石头，里面有大学问。蒙恬让人用“版筑法”修筑城墙——就是用两块木板夹着泥土，中间填上黄土、砂石和石灰的混合物，然后用夯土锤层层夯实。这样筑成的城墙，坚硬如铁，用刀砍不动。城墙高五丈，宽三丈，上面可以跑马，士兵们可以在上面来回巡逻。每隔三里，筑一座烽燧，烽燧高十丈，上面有士兵值守，一旦发现匈奴来犯，白天就烧狼粪，冒出的烟又黑又直，能飘出几十里；晚上就点火，火光通红，能照出很远，烽燧之间依次传递信息，军情一日之内便可从辽东传到咸阳。
每隔十里，筑一座障城，障城呈方形，周长三里，有四门，里面可以驻兵千人，储存粮草和兵器，作为局部防御的中心。每隔百里，筑一座屯兵堡，屯兵堡比障城大得多，周长十里，里面可以驻兵万人，还有专门的练兵场和粮仓，是区域性的防御重镇。蒙恬还在长城沿线设置了关隘，比如雁门关、居庸关，这些关隘都建在两山之间，地势险要，一夫当关，万夫莫开。
除了长城，蒙恬还主持修建了一条重要的道路——秦直道。这秦直道从九原郡出发，直达咸阳，全长一千八百里，最宽处宽六十步（约合八十米），是当时世界上最宽、最长的“高速公路”。修直道时，蒙恬让人把路面挖下去三尺，然后铺上一层碎石，再铺上一层黄土，用夯土锤层层夯实，这样的路面，下雨天不积水，马车走在上面又快又稳，骑兵飞驰起来也不会陷进泥里。
有一回，始皇帝派使者去九原郡传达旨意，走的就是秦直道。使者早上从咸阳出发，晚上就到了上郡，第三天一早就到了九原郡，比以前走小路快了整整十天。使者回来后，把秦直道的情况告诉了嬴政，嬴政龙颜大悦，称赞蒙恬“功在当代，利在千秋”，还赏赐了蒙恬许多金银绸缎。
长城修好后，蒙恬又命人在长城沿线种植榆树。这榆树长得快，枝叶茂密，既能阻挡匈奴骑兵的冲击，又能为士兵和民夫提供阴凉，还能作为薪柴使用。当地的百姓见榆树成林，长城坚固，再也不怕