В 1703–1704 годах был вывезен в Константинополь, затем — в Россию, где в 1705 году принял православие. Получил отчество в честь своего крестного отца, которым стал сам царь Петр I.
В 1705–1717 годах неотлучно находился подле государя, выполняя роль денщика, камердинера и личного секретаря. Обучался инженерному делу во Франции, поступил во французское войско и дослужился до чина капитана (1717−1723 годы).
В 1723 году вернулся в Россию и был определен в Преображенский полк инженер-поручиком бомбардирской роты, капитаном которой был сам царь, обучал солдат и унтер-офицеров математике и инженерному делу, проектировал и закладывал новые укрепления Рижской крепости. Также обучал математике наследника престола (будущего императора Петра II).
После смерти Екатерины I попал в опалу и был удален от двора, однако снова оказался в лучах славы с воцарением Елизаветы.
В 1742 году был назначен Ревельским комендантом и награжден несколькими имениями. С 1745 года Ганнибал заведовал делами по разграничению земель со Швецией. В 1752 году снова переведен в Инженерный корпус и становится управляющим инженерной частью всей армии, руководит возведением укреплений в Кронштадте, Петербурге и других городах.
В 1755 году управляет строительством и содержанием Кронштадтского канала, тогда же основав госпиталь для рабочих на канале, а позже открывает в Кронштадте школу для детей рабочих и мастеров. Награжден орденами святой Анны (1748) и святого Александра Невского (1760). Дослужившись до чина генерал-аншефа, в 1762 году Ганнибал был отправлен в отставку Петром III. Скончался в 1781 году, оставив потомство, в числе которого был Осип Ганнибал — дед Александра Пушкина.