Альбер Оливье родился в Париже. Изучал право и литературу в Сорбанне, затем учился на факультете Политических наук. Поступив на работу редактором в издательство Галлимар «Nouvelle Revue Française», он в 1937 г. стал секретарем директора издательства Гастона Галлимара. Казалось, ему была обеспечена солидная карьера в издательском деле, но начавшаяся Вторая Мировая война смешала все карты. Призванный по мобилизации в 1939 г., Оливье стал радиожурналистом после поражения Франции и работал под началом Клода Руа. Однако очень быстро он покинул радио Виши и присоединился к французскому Сопротивлению. В полуподпольной радиостудии в Париже команда журналистов сопротивленческого Радиодвижения вместе с Морисом Бурде и Пьером Шефером готовила передачи для будущего радио освобождённой Франции. В её рядах Оливье сдружился с Андре Мальро и попал под влияние харизмы генерала Шарля де Голля. Параллельно вместе со своим другом Альбером Камю Оливье сотрудничал с газетой Сопротивления «Сражение» ("Combat"). После освобождения в 1944 г. они вместе стали редакторами вышедшего из подполья «Сражения», но оставили газету в 1945 г.
После войны Оливье продолжил карьеру журналиста. Он регулярно печатался в Пари-Пресс, в «Критическом ревю» ("Revue Critique"), в «Нефе» ("Nef") и в «Перекрёстке» ("Carrefour"), литературным редактором которого он был некоторое время. В 1946 г. был опубликован сборник его политической хроники под названием «Ложные выходы» ("Fausses sorties"). В 1947 г. Оливье вступил в партию де Голля, «Объединение для Франции» (Rassemblement Pour la France). Как член национального совета партии, Оливье был редактором еженедельного партийного журнала «Объединение».
В 1954 г. Альбер Оливье опубликовал свою книгу «Сен-Жюст и сила обстоятельств», идея которой пришла к нему ещё во время войны, в 1943 г. Его самого прозвали Сен-Жюстом его товарищи по Сопротивлению, и не исключено, что Оливье хотел походить на героя своего труда. Вскоре появились две другие его книги, «Тамплиеры» (1958 г.) и «18 брюмера» (1959 г.).
После прихода де Голля к власти в мае 1958 г., Оливье пришёл работать на телевидение, где он занимал различные руководящие должности. Карьера его была быстрой. В июле 1958 г. его назначили заместителем главного директора, в декабре он стал директором теленовостей, а в октябре 1959 г. Оливье занял пост директора программ. Образованный и чувствительный, открытый для впечатлений, он являл собой идеальный образ знающего и проницательного либерала. Коллеги отзывались о нём как о человеке большой культуры и сильной воли, владеющего хорошим знанием человеческой природы. Альбер Оливье проводил политику привлечения к сотрудничеству лучших писателей, сценаристов и режиссёров, поощрал производство художественных экранизаций и многосерийных фильмов, уделял огромное внимание качеству программ. Во время его руководства были сняты многочисленные экранизации классиков литературы, в телепрограмме появились театральные вечера. Время его работы на телевидении часто называли «золотым веком».
К сожалению, вследствие произошедшей с ним в 1944 г. автокатастрофы, Оливье был неизлечимо болен. Несмотря на несколько перенесённых им хирургических вмешательств, здоровье его сильно ухудшилось. Альбер Оливье скончался в ночь с 17 на 18 июля 1964 г. Телевидение надело траур по своему директору. Объявляя о его смерти, диктор новостей расплакалась в прямом эфире. На похоронах кавалера ордена Почётного Легиона Альбера Оливье присутствовали высшие чиновники государства и представители президента.
В честь Альбера Оливье был создан приз его имени для поощрения работников телевидения.
