在家族传统的熏陶下，格拉古自幼就胸怀大志，立志要像祖先和前辈一样，凭着自己的军功和政绩，一步一步登上罗马的政治舞台。罗马的传统崇尚武功，格拉古的从政之路也是从军事生涯开始的。在第三次布匿战争期间，他跟随姐夫小西庇阿出征非洲，与罗马的百年劲敌迦太基人做最后的决战。
迦太基（统治疆域在今突尼斯境内）曾是希腊在地中海上的主要竞争对手，以其强大的海军闻名天下，称霸西地中海。迦太基的农业发达，航海技术精湛，贸易高度繁荣，迦太基货币曾是地中海地区的强势货币。
随着罗马势力的崛起，双方在地中海地区的争夺日趋白热化。第一次布匿战争（公元前264—公元前241年）打了23年，罗马终于夺得了西西里岛，但双方损失空前惨重，战争伤亡甚至超过了亚历山大大帝横扫欧亚大陆的全部损失。第二次布匿战争（公元前218—公元前201年）持续了17年，迦太基统帅汉尼拔率领大军横扫意大利半岛，连续重创罗马军队，甚至直接威胁到罗马城的安全。在著名的坎尼战役中，汉尼拔歼灭罗马军团7万多人，成为人类战争史上单日伤亡最大的战役之一。整个战争使罗马伤亡了成年男性公民的1/5，罗马虽然最终取胜，但损失极其惨重。
迦太基势力范围示意图
迦太基的威胁让罗马人寝食不安，趁着迦太基国力虚弱，罗马发动了第三次布匿战争（公元前149—公元前146年），以图最终消灭迦太基。罗马大军将迦太基城围困了3年而未攻破，格拉古跟随小西庇阿统帅的罗马大军参加了最后的攻城决战。在战斗中，他冲锋陷阵英勇无畏，第一个登上了迦太基的城墙，赢得了罗马军队的高度爱戴。
为永绝后患，小西庇阿将迦太基城夷为平地，20万迦太基人遭到杀害，仅存的5万人沦为奴隶，迦太基最终亡国灭种。目睹战争的惨烈结局，小西庇阿不禁落泪，他担心罗马城有朝一日也会遭到如此的下场。历史竟是惊人的相似，455年，在迦太基立国的汪达尔人，正是从这片废墟上出发，攻陷并洗劫了罗马城。
正是在攻打迦太基的战役中，格拉古声名鹊起，后来被破格任命为祭司团的占卜官。这是一个非常崇高的荣誉，后来的恺撒和屋大维年轻时也是从这个职位起步，最终成为罗马的最高统治者。前执政官和监察官，罗马元老院的首席元老阿庇斯克劳狄乌斯参加了格拉古的就职庆典，一眼就相中了年轻有为的格拉古。首席元老激动之下当场表示愿将女儿许配给他，格拉古愉快地接受下来，并当场敲定了婚约。