Пушкин начал работать над романом в конце июля 1827 г. в Михайловском. Тригорский приятель Пушкина А. Вульф, с которым поэт встречался, когда писал роман, записывает в своем дневнике 16 сентября того же года: «Показал он мне только что написанные первые две главы романа в прозе, где главное лицо представляет его прадед Ганнибал, сын абиссинского эмира, похищенный турками, а из Константинополя русским посланником присланный в подарок Петру I, который его сам воспитывал и очень любил. Главная завязка этого романа будет, — как Пушкин говорит, — неверность жены сего арапа, которая родила ему белого ребенка и за то была посажена в монастырь. Вот историческая основа этого сочинения» («Пушкин в воспоминаниях современников», М. 1950, стр. 324–325).

          Запись Вульфа подтверждается семейными воспоминаниями Пушкиных о А. П. Ганнибале, одном из сподвижников Петра I. Излагая родословную Пушкиных и Ганнибалов, поэт замечает: «В семейственной жизни прадед мой Ганнибал так же был несчастлив, как и прадед мой Пушкин. Первая жена его, красавица, родом гречанка, родила ему белую дочь. Он с нею развелся и принудил ее постричься в Тихвинском монастыре...» («Начало автобиографии»).

       Мысль о литературном использовании биографии Ганнибала возникла у Пушкина задолго до начала работы над романом. В начале 1825 г., в связи с работой Рылеева над поэмой из времен Петра I («Войнаровский»), Пушкин писал своему брату в Петербург: «Присоветуй Рылееву в новой его поэме поместить в свите Петра I нашего дедушку. Его арабская рожа произведет странное действие на всю картину Полтавской битвы» (письмо от первой половины февраля 1825 г.). Одним из источников в работе над романом послужила Пушкину рукописная на немецком языке биография Абрама Петровича Ганнибала. Однако в ряде фактов и обстоятельств содержание романа отступает от материала биографии. Ганнибал женился при Анне Иоанновне на дочери моряка гречанке Евдокии Диопер, а не на русской боярышне, как у Пушкина. Любовь его к графине Д. — художественный вымысел.

В своей работе над романом Пушкин использовал также труд И. И. Голикова «Деяния Петра Великого», изданный в конце XVIII в., и очерки «Нравы русских при Петре I» декабриста А. О. Корниловича, напечатанные в альманахе «Русская старина на 1825 год», в частности очерк «О первых балах в России».

Весной 1828 г. Пушкин читал в Петербурге отрывки из романа своим друзьям. В конце марта П. А. Вяземский писал поэту И. И. Дмитриеву: «Пушкин читал нам несколько глав романа своего в прозе; герой — дед его Аннибал; между действующими лицами рисуется богатырское лицо Петра Великого, кажется верно и живо схваченное, судя по крайней мере по первым очеркам. Описание петербургского бала и обеда в царствование Петра ярко и натурально» («Русский архив», 1866,. стб. 1716). Очевидно, то, что читал Пушкин своим друзьям, и было опубликовано в виде двух отрывков в альманахе «Северные цветы» на 1829 г. и в «Литературной газете» в марте 1830 г. Эти отрывки были затем перепечатаны в сборнике «Повести, изданные Александром Пушкиным» (1834) под заголовком: «Две главы из исторического романа. 1. Ассамблея при Петре I. 2. Обед у русского боярина».

Действие романа развивается в последний период царствования Петра (Ибрагим возвращается в Россию в 1723 г.); упоминая среди окружающих Петра лиц Шереметева, Якова Долгорукова и Копиевича, уже к тому времени умерших, Пушкин допускает анахронизм.

Время и причины прекращения работы Пушкина над романом точно не установлены. Сам Пушкин не дал заглавия роману; название «Арап Петра Великого» было дано после смерти поэта его преемниками по изданию журнала «Современник», в котором и был опубликован роман в 1837 г. (т. VI, № 2).

Для романа Пушкин приготовил эпиграфы и записал их на одном листе без указания о распределении по главам, за исключением эпиграфов к I и IV главам.