Теперешнее здание (позднее барокко, ранний классицизм) было построено по инициативе герцога Курземе и Земгале Петера Бирона в период с 1773 – 1776 годы (датский архитектор Северин Енсен) на месте, где располагался дворец герцогини Анны. В 1775 году здесь было основано первое в Латвии высшее учебное заведение Academia Petrina (Академия Петра - названа так в честь ее основателя), а в 1782 году - создана первая обсерватория. Во времена Российской империи здесь находилась гимназия. Среди ее выпускников стоит упомянуть таких, как К.Баронс, Ю. Алунанс, Я.Чаксте, А.Сметонс и др. В 1952 году в здании гимназии основали Елгавский музей истории и искусства, которому в 1975 году было присвоено имя классика латышской живописи Гедерта Элиаса (1887 – 1975). Экспозиция музея рассказывает об истории города и края в период Курземско-Земгальского герцогства и после него. У впечатляющего здания расположены четыре пушки времен Курземского герцогства и памятник Г. Элиасу (1987 год, скульптор И. Зариньш), а также фрагмент памятника освободителям Елгавы “Лачплесис и Чёрный рыцарь”, изготовленный скульптором К. Янсоном.