Клуб «Арсенал» был основан в 1886 году на юго-востоке Лондона рабочими артиллерийского завода «Ройал Арсенал», который располагается в Вулвиче. Спустя две недели на Рождество было организовано собрание игроков, на котором было решено переименовать клуб в «Ройал Арсенал», выбрано место для проведения игр и форма игроков. Красный цвет был предложен бывшим игроком «Ноттингем Форест» Фрэдом Бирдсли.
Клуб стартовал во Втором дивизионе и в 1904 году пробился в Первый дивизион. Однако географическая удалённость клуба стала причиной низкой посещаемости матчей, что привело к финансовым проблемам. В 1913 году (вскоре после возвращения во Второй дивизион) клуб пересёк Темзу, чтобы занять новую арену — стадион «Хайбери», расположенный на севере Лондона. («Хайбери» был домашней ареной «Арсенала» вплоть до августа 2006 года, когда клубом был достроен новый 60-тысячный стадион «Эмирейтс».) Команда отбросила часть «Вулвич» из названия в следующем же 1914 году. Сезон 1919 года Арсенал закончил на 5 месте, но, тем не менее, был переведён в Первый дивизион. Перипетии этого возвращения остаются самой постыдной страницей в истории «Арсенала». Тогда было решено увеличить количество команд в Первом дивизионе с 20 до 22-х. Но вместо того, чтобы расширить дивизион за счёт двух команд, занявших первое и второе место во Втором дивизионе, Генри Норрису (владельцу «Арсенала») удалось убедить Джона Маккену (владельца «Ливерпуля», председателя Футбольной Лиги и друга Норриса) предоставить судьбы путевок в Первый дивизион голосованию членов Лиги. Кандидатур на одну из них было семь, среди них был «Арсенал» (5-е место во Втором дивизионе), «Тоттенхэм» (20-е место в Первом дивизионе), «Барнсли» (3-е место во Втором дивизионе) и «Вулверхэмптон» (4-е место во Втором дивизионе). Маккена ходатайствовал за «Арсенал», утверждая, что этот клуб имел серьёзные заслуги перед Лигой, и напоминая, что «Арсенал» находился в Футбольной Лиге на 15 лет дольше, чем «Тоттенхэм». В голосовании с большим отрывом победил «Арсенал». Остальные путевки получили «Челси» (19-е место в Первом дивизионе), «Дерби» и «Престон» (1-е и 2-е место во Втором дивизионе). Данная история послужила началом непримиримой вражды «Арсенала» и «Тоттенхэма», а «канониры» с тех пор ни разу не покинули высший дивизион чемпионата Англии. . Его революционные тактика и способы тренировки, в сочетании со звёздными игроками, такими, как Алекс Джеймс и Клифф Бастин, помогли клубу стать доминирующим в 30-х годах. Между 1930 и 1938 годами Арсенал выиграл 5 раз в Первом дивизионе и дважды становился обладателем Кубка Англии, хотя Чепмен так и не увидел всех этих достижений, так как в 1934 году умер от пневмонии. После его смерти обязанности тренера и менеджера разделили несколько человек. Формально тренером был Джордж Эллисон, фактически он занимался организационными вопросами. Под его руководством «Хайбери» превратился в одну из самых современных на тот момент арен Англии, также Эллисон занимался приглашением новых игроков. Именно ему принадлежит заслуга подписания Теда Дрейка, который забил в сезоне 1934-35 42 гола в 41-м матче, что по сей день остается рекордом «Арсенала». Непосредственно за работу с командой отвечали Джо Шоу и Том Уиттакер, которые входили в тренерский штаб ещё при Чепмене.
Джордж Эллисон ушёл с поста менеджера по окончании сезона 1946-47. На его место пришёл Том Уиттакер. Тогда команда испытывала серьёзные проблемы, в чемпионате «Арсенал» занял 13-е место, прежние лидеры ушли из футбола. Уиттакер изменил тактику команды, сделав её сугубо оборонительной. Кроме того, основная ответственность легла на ветеранов. Благодаря 32-летнему Джо Мерсеру, 35-летнему Рони Руку и 33-летнему Лесу Комптону «Арсенал» вновь стал чемпионом. Рук забил 33 мяча и стал лучшим бомбардиром Первого дивизиона. Это достижение является рекордом Англии для послевоенных чемпионатов.
Ветераны не могли долго вытягивать команду, было необходимо провести смену поколений. После вливания свежей крови «Арсенал» не смог составить конкуренцию в чемпионате, но в сезоне 1949-50 был выигран Кубок Англии. В сезоне 1951-52 команда была в шаге от того, чтобы сделать «дубль» (одержать победу как в чемпионате, так и в кубке), но из-за череды травм осталась ни с чем. В следующем сезоне «Арсенал» занял первое место в чемпионате, но эта победа стала началом периода, в течение которого команда не демонстрировала выдающихся результатов, постепенно превращаясь в посредственную команду.
20 июня 1966 года менеджером команды был назначен Берти Ми. Это решение руководства было воспринято неоднозначно, ведь Берти до этого никогда не играл в футбол и не имел тренерского опыта. Но история показала, что решение было оправданным. Ми с энтузиазмом взялся за работу, привнеся в работу клуба больше профессионализма. Он усилил атаку за счёт молодых и талантливых игроков, в обороне у Берти играли более опытные, зрелые футболисты. Арсенал потерпел неудачу в двух финалах Кубка Лиги, но в 1970 году «канониры» наконец взяли трофей. В финале Кубка ярмарок был побежден «Андерлехт». А в сезоне 1970-71 «Арсенал» завоевал свой первый «дубль». Но после этого «Арсенал» внезапно потерял тренера молодёжной команды, врача. Самым серьёзным ударом стал уход тренера первой команды Дональда Хоуи, который сыграл немалую роль в становлении команды. После этого постепенно стали уходить ключевые игроки, Берти Ми не смог найти им замену и летом 1976 года подал в отставку.
На замену Берти Ми пришёл Терри Нил, который в прошлом был капитаном команды. Он вернул в штаб Дональда Хоуи, под его руководством заиграли будущие легенды Лайам Брейди и Дэвид О'Лири. «Арсенал» сыграл в трех подряд финалах Кубка Англии (1978, 1979, 1980), став первым клубом, который смог добиться такого на «Уэмбли».
