他的父亲小渊光平原是群马县选出的众议院议员，故他在群马县建立一些地方势力，他的父亲多次连任众议院，但在最后一次连任后的三个月，于1958年8月26日在国会回家的路上突然中风，送进医院后逝世。
小渊光平死亡后，1960年第29回众议院议员总选举，当时小渊还没有被选举权。当时一位前参议院议员，曾任群马县知事与长野县知事的伊能芳雄出马，但落选。结果为了夺回伊能未能拿得的议院，吸引小渊惠三进入政坛。 1963年11月，他仍就读大学时，第30回众议院议员总选举。他受到自民党推荐出马旧群马3区，结果得到47350票而首次当选（4个议席中第三位当选）。时年26岁。同期还有桥本龙太郎、中川一郎、大出俊、田中六助、伊东正义与渡边美智雄等人。
1967年与大野千鹤子结婚，媒人为桥本登美三郎。
在自民党内，历为佐藤派→田中派→竹下派→小渊派的保守主流，成为自民党内的实力者。与渡部恒三、小泽一郎和桥本龙太郎等被称为「竹下派七奉行」，被期待着成为未来的宰相候补。拜师于竹下登，为竹下直系。 1970年1月20日，就任第三次佐藤内阁的邮政政务次官。就任时以「邮政省的政务次官必须理解基层职务」为理由，混进邮政外务职员中自行派信。当时的邮政省职员与邮局局员大为震惊，因此得到支持。亦因他这样突出的举动成为热门话题（竹下登曾说：「众议院议员并非成为邮差人员，但似乎邮差人员就成为众议院议员了。」
1972年自民党总裁选举中，田中角荣与福田赳夫大战，世称为角福战争。小渊投票给佐藤派之长佐藤荣作属意的候选人田中，而不是投票给同乡的福田赳夫，因此招来期望福田赳夫成为首相的群马县县民的愤怒。在第33回总选举中大苦战，结果以全国最低得票当选。
1972年7月12日，就任第一次田中内阁的建设政务次官。1973年11月25日就任第二次田中改造内阁的总理府总务副长官。小渊合共就任三次政务次官，比起自民党党内只就任两次政务次官的惯例来说，是非常例外的例子。
1979年11月9日，初入阁为第二次大平内阁总理府总务长官兼冲绳开发厅长官。比同期的议员入阁时间也最迟。
他为竹下登成为首相而奔走，结果在1987年11月6日成立的竹下内阁就任内阁官房长官。亦曾临时代理内阁总理大臣。 他任官房长官时，刚巧遇上昭和天皇崩御且变更年号。他在记者会宣布新年号为「平成」。由于发表新元号、招来国民注意，小渊亦因「平成大叔」称号成为超人气政治家。小渊恭敬地打开写上「平成」的纸张，多用作平成时代的象征。
昭和天皇崩御后，官房长官需要处理大丧之礼等一连串问题。他发挥了领袖的性质，当时与官房事务副长官石原信雄同乡，故一同协力面对。
令人深刻的是，当初就任官房长官发接内阁阁僚名单时，一时忘记称呼环境厅长官堀内俊夫的名字，多次在发言作修正，被揶揄为「订正长官」。 1991年4月，当时任自民党干事长的小泽一郎在东京都知事选举时，强行推出NHK评论员矶村尚德，引来自民党东京都支部反对。自民党与民主社会党的东京都支部推出现任知事铃木俊一，形成自民党的分裂选举，结果铃木在五人角逐下成功第三次连任。小泽引咎辞职，故小渊接任自由民主党干事长。
1992年10月，经世会（后来平成研究会，属竹下派）会长金丸信因东京佐川急便事件辞去议员，为继承金丸的会长职位使小泽一郎与反小泽派的对立被激化。小泽派推出羽田孜，反小泽派推出小渊参选后继会长。小渊成为後继派系领袖。而小泽与羽田则自立门户，成立改革论坛21（羽田・小泽派）与经世会（小渊派）分裂。1993年羽田离开自民党成立新生党。
1994年就任重新参政的自民党副总裁，转注于党务、与重要阁僚无缘。
1995年，自由民主党群马县支部联合会会长选举之际，对小渊选拔众院选小选举区的候选人人才不满的中曾根康弘，对小渊连任县联会长提出异议，而福田康夫亦有异议。结果小渊不再连任，在群马县被认为「小渊的政治生命就此结束」。
1996年1月，村山富市辞职。小渊派的桥本龙太郎就任内阁总理大臣。身为小渊派会长的小渊表示愿意参与政权，在野中广务劝说下，判断现实情况支持桥本的工作。为与河野洋平对抗的加藤纮一就任党干事长进行工作。
同年10月第二次桥本内阁成立，一道传出要小渊就任众议院议长。小渊曾表乐意接受，但因就任议长与未来就任首相无缘招至地方支持者的反对。手下侧近的额贺福志郎、青木干雄、绵贯民辅以及秘书古川俊隆反对故力推，最后由亲近竹下的伊藤宗一郎就任众议院议长。
1997年9月，就任第二次桥本内阁改造内阁的外务大臣，重归表面舞台。对外务省的事业，招来政敌土井多贺子以及菅直人的高评价。 1998年7月30日，桥本首相为第18回参议院议员通常选举败北的责任请辞。小渊惠三当选自民党总裁及总理大臣。由于桥本与小渊同派系，初时招来批判。
1999年7月9日，日本首相小渊惠三访华。 2000年4月2日，因中风而入院。（日前曾有预兆，在回答记者询问一时无言，花十秒以上时间才能回答）指名内阁官房长官青木干雄临时代理总理大臣。对于在野党质疑，在小渊指定青木为首相临时代理之际，小渊到底是否已失去意识。青木在记者会上否认小渊脑死的传言。但2000年5月14日下午4时7分，小渊在病房逝世。令人感到天意弄人的是他父亲亦因此病逝世。小渊死后，获追颁大勋位菊花大绶章。

2000年6月8日，已故小渊惠三内阁·自由民主党联合丧葬仪式，在东京都北
之丸公园日本武道馆举行。日本皇太子和妃两殿下，众参两院议长，最高法院长官和国内各界的代表，以及美国总统克林顿、韩国总统金大中的特使、各国驻日大使等世界153个国家和3个地区以及22个国际组织的吊唁使节约6000人出席。
担任联合丧葬仪式的丧葬仪式委员长是内阁首相森喜朗。