Es gibt eine Erzählung über einen dänischen Händler, der sich bei einem Schiffbruch am Kap von Kolka gerettet und als Dank in Kolka eine Kirche gebaut hat. In Kolka hat es mehrere Kirchen gegeben, die ihren Standort gewechselt haben. Das Fundament des heutigen aus Feldsteinen gebauten Gotteshauses hat der damalige Inhaber des Landgutes von Dundaga Karl Ludwig Ferdinand von der Osten-Sacken gelegt. Das Gotteshaus ist an der Stelle (oder in der Nähe) der hölzernen Kirche gebaut, die sehr stark im Krimkrieg gelitten hatte. Die ersten Bauarbeiten wurden von dem Baumeister Oto Zīverts im Jahr 1885 (Architekt Teodors Zeilers) angefangen. Während der Sowjetzeit wurde die Kirche gewaltsam ausgeraubt und in dem Gebäude wurde ein Lagerraum eingerichtet. Es ist wert, das moderne Altargemälde (Künstlerin Helēna Heinrihsone) zu besichtigen, dem kein anderes Altargemälde in keiner anderen Kirche ähnlich ist. Früher befand sich an der Stelle des Gemäldes ein Kreuz.

Orthodoxe Christi Geburt-Kirche von Kolka. Die Angaben darüber, dass die Liven den orthodoxen Glauben angenommen haben, beweist eine Urkunde, die in den 1990er Jahren während der Restaurationsarbeiten im Turm der evangelisch-lutherischen Kirche (siehe auch weiter) gefunden und dort beim Bau der Kirche im Jahr 1885 hineingelegt wurde. Diese Urkunde erzählt, dass der Übertritt der Liven zum orthodoxen Glauben, dem sogenannten Glauben des Kaisers, „nicht mit der Glaubensüberzeugung verbunden ist, aber das ist ein Mittel, wie man an Vorteile für Grundstücke und an Genüsse gelangen kann.” Die orthodoxe Gemeinde hat schon im Jahr 1885 ein Grundstück vom Baron Osten-Sacken gekauft, auf dem im Jahr 1890 die Kirche, das Priesterhaus und ein Schulgebäude gebaut wurden. Alle Gebäude haben sich bis heute erhalten. Die Kirche hat ihre eigene Gemeinde und die Gottesdienste werden hier einmal im Monat abgehalten. Man kann Angaben darüber finden, dass Kolka das einzige Dorf an der livischen Küste war, wo in den 1890er Jahren eine orthodoxe Kirche gebaut wurde. Die Glocke hat ihren Platz im Jahr 1936 gefunden. Während der Sowjetzeit wurde die Kirche als eine Leichenhalle benutzt, aber heute dient sie ihrem ursprünglichen Ziel.