开宝七年（974年），朝廷准备讨伐南唐。九月，曹彬奉诏与李汉琼、田钦祚先行到荆南征发战舰，潘美率领步兵接着出发。十月，诏令任命曹彬为升州西南路行营马步军战舰都部署，分兵从荆南顺流而东，攻破峡口寨，接着攻克池州，连续攻克当涂、芜湖二县，驻扎在采石矶。十一月，造浮桥，横跨大江以渡过部队。十二月大破南唐军于白鹭洲。
开宝八年（975年）正月，又在新林港大破南唐军队，二月，军队进驻秦淮，南唐水陆军队十多万人在城下列阵，宋军大败南唐军，斩杀、俘获一万多敌人。浮桥造成后，南唐出兵抵抗，宋军在白鹭洲大败南唐。从三月到八月，连连击败敌军，又攻克润州。金陵城被围，到此时一共有三个时辰，居民砍柴的路被断绝，南唐军屡次被打败，南唐国主李煜非常危急，派遣其大臣徐铉送表到朝廷，乞求缓师停战，宋太祖不予同意。在此之前，大军排列成三寨，潘美镇守偏北方，把战争形势绘成图送给宋太祖。宋太祖指着北寨对使者说：“南唐必定夜晚出兵来进攻，你赶快回去，命令曹彬迅速挖沟来巩固阵地，不要中了敌人的诡计。”深沟挖成后，南唐兵果然夜里来突袭，潘美率领所属部队依靠新沟抵抗，南唐大败。上奏战报到朝廷时，宋太祖笑着说：“果然如此。”
长期的围城中，曹彬常常缓攻，希望李煜能归降。十一月，曹彬又派人晓谕他：“事势已经如此，只可惜一城的百姓，如果你能归降，真是上策啊。”城即将攻克时，曹彬忽然称疾不处理事务，诸将都来探病。曹彬说：“我的病不是药石能治好的，只要诸公诚心立誓，克城之日，不妄杀一人，就会自动痊愈。”诸将答应下来，一起焚香立誓。第二天，病情稍微好转。再过一天，金陵城被攻陷。李煜与他的大臣们一百多人到军营请罪，曹彬安慰他，用贵宾礼接待他，请李煜入宫换装，曹彬只派几个骑兵等在宫门外。部下暗地对曹彬说：“李煜入宫如有不测，怎么办？”曹彬笑着说：“李煜向来懦弱不能果断，既然已经投降，一定不会自杀。”李煜的君臣，最终赖以保全，从出师到凯旋，士卒们都畏服他，不敢轻举妄动。入宫朝见时，名帖上自称“奉令到江南办事回来”，他的谦恭不夸耀就像这样。
当初，曹彬统领军队，宋太祖对他说：“等攻克李煜后，任命你为使相。”副帅潘美预先向他祝贺。曹彬说：“不是这样，这次行动，仰仗天威，遵照朝廷谋略，才能成功，我又有什么功劳呢？何况使相是极品吗？”潘美说：“怎么说呢？”曹彬说：“太原没有平定啊。”回朝后，献俘虏。宋太祖对他说：“本来要授任你为使相，但是刘继元没有攻灭，暂且稍微等待一些时候。”听见这句话后，潘美偷看着曹彬微笑。宋太祖发觉后，于是责问他为什么发笑，潘美不敢隐瞒，于是按实情回答。宋太祖也大笑起来，于是赐给曹彬钱二十万。曹彬退朝后说：“人生何必作使相，好官也不过多得些钱罢了。”不久，任命他为枢密使、检校太尉、忠武军节度使。 雍熙三年（986年），诏令曹彬率领幽州行营前军马步水陆军队，与潘美等人北伐，分路进讨。三月，在固安打败辽军，攻克涿州，戎人来增援，宋军在城南大败援兵。四月，又与米信一起在新城打败辽军，杀敌二百人。五月，在歧沟关作战，诸军被打败，退守易州，面对易水扎营。宋太宗听说，急忙派人分兵屯守边城，追令诸将回朝。
在此之前，贺令图等人对宋太宗说：“辽国皇帝年少，母后专政，宠幸大臣们用事，请趁其灾祸，攻取幽蓟。”于是派遣曹彬与崔彦进、米信从雄州（今河北雄县），田重进赴飞狐，潘美从雁门出发，约期一齐举事。将出发时，宋太宗对曹彬说：“潘美的军队先奔赴云、应二州，你们以十万人声言攻取幽州（今北京），但持重慢行，不得贪求功利。敌人听说大军到了，一定出动全部军队救范阳，无暇救山后。”不久，潘美的部队先攻下寰、朔、云、应等州，田重进又攻取飞狐、灵丘、蔚州，得到很多山后要害之地，曹彬也连连攻下州县，声势大振。每次奏本到来，宋太宗已经很惊讶曹彬进军太快。曹彬驻扎涿州时，十天食尽，于是退到雄州补充粮草。宋太宗听说后说：“哪有敌人在前，反退兵补充粮草之理，真是太失策了。”急忙派遣使者阻止曹彬前进，急忙引军沿着白沟河与米信会师，按兵不动，蓄精养锐，声张西边部队的军势；等潘美等人全部攻占山后之地后，与田重进会师向东，合势攻取幽州。当时曹彬的部下将领，听说潘美和田重进屡建军功，而自己手握重兵不能有所攻取，谋议蜂起，曹彬不得已，于是又带着粮草再去进攻涿州。契丹大军当前，当时正炎热天气，军士困乏，粮草将尽，曹彬退兵，军队不再有阵势，于是被敌人追击战败。
曹彬等人回朝后，诏令由尚书省审讯，命令翰林学士贾黄中等人惩治他们，曹彬等人供认违令失律之罪。曹彬被贬任右骁卫上将军，王彦进被贬任右武卫上将军，米信被贬任右屯卫上将军，其余诸将依次贬降。雍熙四年（987年），复起曹彬为侍中、武宁军节度使。淳化五年（994年），迁任平卢军节度。至道三年（997年），宋真宗赵恒即位，恢复他的检校太师、同平章事之职。几个月后，召回朝廷授任枢密使。 赵匡胤：“不欺其主者，独曹彬耳。” “吾任得其人矣。”
赵恒：“国朝将相家能以声名自立，不坠门阀，唯昉与曹彬家尔。”
王仁赡：“清谦畏谨，不负陛下任使者，惟曹彬一人耳。”
王陶：“曹彬、潘美统王师平江南。二将皆知兵善战，曹之识虑尤远，潘所不迨。”
刘清之：“曹彬在朝忠厚宽和，足师表一世。”
田况：“曹冀王彬遭会兴运，勋效寖着。诸将平蜀，竞掠财货，彬独不犯厘忽，由是太祖益知之。性兢畏不伐，破伪唐回入都城，令监门者但报自江南勾当公事回。及勋望曰隆，名宠亦峻，愈谦下诫惧，以保禄位。每出镇藩阃，卑躬待士。遇计台巡视封部，虽朝籍、省部位至下者，亦屏远从者，端笏迓于路左。使者见之，无不愧恐。”
陶弼：“蒐兵四解降王缚，教子三登上将坛。”
欧阳修：“曹武惠王，国朝名将，勋业之盛，无与为比。”
司马光：“曹侍中彬为人仁爱多恕，平数国，未尝妄斩人。”
王辟之：“曹冀王彬，前后帅师征讨诸国，凡降四国主：江南、西川、广南、湖南也，未尝杀一无辜，功名显著，为诸将之首。”
罗大经：“汉惟一赵充国，唐惟一王忠嗣，本朝惟一曹彬，有三代将帅气象。” “至于曹彬之平江南，功亦不细矣，然使相之除，终至吝惜，止于赐钱百万而已。夫太祖岂食言之君，而曹彬亦岂饱则扬去之人哉！英君谊辟远虑微权，众人固不识也。”
楼钥：“艺祖之造邦，武惠之元勋，不容赞叹。……人徒以为武惠为熊罴之士，不知其用兵行师，不妄杀一人，所谓不二心之臣。”
忽必烈：“古之善取江南者，唯曹彬一人。”
李冶：“彬伐江南，未尝妄杀一人，拟之方叔、召虎可也。汉之韩、彭、卫、霍，在所不论。”
脱脱等：“曹彬以器识受知太祖，遂膺柄用。平居，于百虫之蛰犹不忍伤，出使吴越，籍上私馈，悉用施予，而不留一钱；则其总戎专征，而秋毫无犯，不妄戮一人者，益可信矣。潘美素厚太祖，信任于得位之初，遂受征讨之托。刘鋹遣使乞降，观美所喻，辞义严正，得奉辞伐罪之体；则其威名之重，岂待平岭表、定江南、征太原、镇北门而后见哉？二人皆谥武惠，皆与配飨，两家子孙，皆能树立，享富贵。而光献、章怀皆称贤后，非偶然也。君子谓仁恕清慎，能保功名，守法度，唯彬为宋良将第一，岂无意哉？若李浚者，亦以材干自结主知，遂历清显。谓为阴德所致，理或然也。”
胡助：“飞龙见知，不欺其主。位高志下，宠厚忧巨。平吴降蜀，勋业最隆。出将入相，善始令终。”
李廷机：“曹彬总兵权，士卒无伤损。 ”
归有光：“宋太祖受周之禅，去五代战争之患，致天下于太平，则有赵普、潘美、曹彬之辈殚其谋。”
黄道周：“曹彬为将，与众不同。仁以戢下，廉以治躬。奉诏伐蜀，图书自封。毫不矜伐，上贺其功。江南之伐，命之总戎。城危将下，忽作病容。誓不妄杀，方起而攻。李煜伏罪，宾待甚恭。尽贺使相，彬曰无庸。但多得钱，何必位崇。既而待异，北伐食穷。历念前绩，禄位善终。”
昭梿：“宋人伐辽之役，人皆怪曹、潘二公，当时宿将，何以偾军至此，不知二人固有所避忌也。太宗性猜忌，高梁之役，自有弃军之耻，曹、潘咸太祖时旧臣，若使进克幽州，必招太宗之忌，鸟尽弓藏之感，良有以也。二将颇识其意，故济阳之师已至涿鹿，乃反退雄州就食，虽粗知兵者所不肯为。而彬顾不知耶，适为偾军之计耳。潘美亦然。”
朱文翰：“彬实披坚执锐，冒死攻城，渡不测之江，系降王之颈，功冠诸将。”
郑观应：“古之所谓将才者，曰儒将、曰大将、曰才将、曰战将。韩信、冯异、王猛、贺若弼、李靖、郭子仪、曹彬、徐达筹，大将也。”
黄彭年：“持己欲静，待士欲宽，临事欲谨，治军欲节，贫毋盗，富毋溢，毋侵有司、毋虐百姓，静也，曹彬近之。”
蔡东藩：“宋初健将，首为曹彬，其次莫如潘美，然彬谦仁有余，智勇不足，岐沟之败，误在不智，又误在不勇。勇者非浪战之谓也，遇事有断，是谓之勇。”