В 637 царь Тибета Сонгцен Гампо возвёл здесь первое здание в том месте, где он обычно медитировал. Когда он решил сделать Лхасу своей столицей, он построил дворец. После своего обручения с китайской принцессой Вэнь Чэн, расширил дворец до 999 комнат, возвёл стены и башни и вырыл обводной канал. Во второй половине VIII века во дворец попала молния и деревянные постройки сгорели, затем по причине междоусобных войн дворец разрушился. Сейчас сохранилась лишь пещера Фа-Вана и зал Пабалакан.

Дворец в его современном виде начал строиться в 1645 по инициативе Далай-ламы V. В 1648 был завершён Белый дворец (Потранг Карпо), и Потала стала использоваться как зимняя резиденция далай-лам. Красный дворец (Потранг Марпо) был достроен между 1690 и 1694. Название дворца происходит по всей видимости от легендарной горы Потала на которой обитает бодхисаттва Ченрези (Авалокитешвара), которого на земле представляет далай-лама.

В грандиозном строительстве принимали участие лучшие мастера того времени из Тибета, Непала и Китая