同时，他也不愿意轻易归附曹操，失去自己在汉中的独立地位。
建安初年，曹操曾派使者前往汉中，授予张鲁“镇民中郎将”的官职，并让他“领汉宁太守”，张鲁接受了官职，但仍保持着相对的独立性，没有向曹操缴纳赋税或派兵助战。
建安二十年（215年），曹操在击败马超、韩遂等关中军阀后，实力进一步增强，开始将目光投向汉中。
他亲率大军西征汉中，张鲁深知实力悬殊，一度想投降，但遭到其弟张卫的反对。
张卫认为汉中地势险要，易守难攻，主张抵抗。
张鲁遂让张卫率军在阳平关据守，与曹军展开激战。
阳平关是汉中北面的重要关隘，地势险要，易守难攻，张卫在此部署了大量兵力，修建了坚固的防御工事。
曹军进攻初期，屡屡受挫，损失惨重。
据《三国志·武帝纪》记载，曹操曾一度想撤军，但后来利用夜色与地形，奇袭张卫军营，张卫军大败，阳平关失守。
阳平关失守后，汉中门户大开，张鲁再次面临投降与否的选择。
他的部下阎圃建议他先逃往巴中，借助当地少数民族的力量，再观察曹操的态度，然后决定是否投降，这样可以提高投降的筹码。
张鲁采纳了阎圃的建议，在撤退时，并未烧毁府库中的珍宝，而是封存起来留给曹操，他说：“本欲归命国家，而意未达。今之走，避锐锋，非有恶意。宝货仓库，国家之有。”
此举为他日后的归顺留下了余地，也体现了他的政治智慧。
对于南面的刘璋与后来的刘备，张鲁则保持着警惕与对抗。
刘璋曾多次派兵攻打汉中，均被张鲁击退。
刘璋性情懦弱，缺乏军事才能，其军队战斗力较弱，无法与张鲁的军队抗衡。
张鲁在与刘璋的战争中，不仅保卫了汉中的安全，还趁机夺取了益州的部分土地，扩大了自己的势力范围。
刘备入蜀后，取代刘璋成为益州的统治者，与张鲁的关系也变得紧张起来。
刘备素有“兴复汉室”的志向，汉中作为益州的门户，对他来说具有重要的战略意义，他必然要夺取汉中。
张鲁也意识到了这一点，对刘备保持着高度警惕。
据《三国志·张鲁传》注引《典略》记载，张鲁曾对人说：“宁为曹公作奴，不为刘备上客”，可见他对刘备集团的排斥。
这种态度既与他与刘璋、刘备的历史恩怨有关，也反映了他对各方势力实力与品性的判断。
他认为曹操虽然势力强大，但毕竟代表着中央政府，归附曹操可以获得相对稳定的地位；而刘备则是一个新兴的军阀，野心勃勃，归附他很可能会失去自己的独立地位。
建安二十年（215年），张鲁在权衡利弊后，最终决定归降曹操。
曹操对张鲁的归顺十分满意，拜其为镇南将军，封阆中侯，食邑万户，并将其家属与部众迁往中原。
曹操这样做，一方面是为了表彰张鲁的归顺行为，稳定汉中地区的局势；另一方面，也是为了利用张鲁在五斗米道中的影响力，安抚其教众，防止发生叛乱。
张鲁的归降，虽然结束了他在汉中的割据统治，却意外地推动了五斗米道的传播