A actual invocação remonta ao século XVIII, uma vez que, até aí, a ermida era dedicada ao Senhor Crucificado, e designada por Senhor do Monte, por se encontrar num local ligeiramente elevado. A consagração a Nossa Senhora das Dores deve-se à devoção dos estudantes de Gramática Latina, que se organizaram de forma a obter financiamento para encomendar uma imagem de Nossa Senhora, o que aconteceu com a ajuda dos moradores. Esta, foi então colocada na ermida do Senhor do Monte a partir de 24 de Julho de 1768, data em que o Arcebispo concedeu autorização para tal. Seguiu-se a criação de uma confraria e o início daquela que foi uma longa campanha de obras, que visou remodelar a antiga ermida.O início de edificação, com planta hexagonal, ocorreu em 1779, sob a supervisão do padre José Pedro Baptista, pertencente à confraria. Em 1880, estaria terminada, pois data desse ano a execução do retábulo de talha, por Manuel Alves Couto, de Landim. A fachada, contudo, era bastante diferente daquela que hoje conhecemos. Dividida em três panos, com os laterais recuados e abertos por janelas de sacada, exibe, ao centro, um portal coroado por frontão interrompido, a que se sobrepõe uma ampla janela. O alçado é percorrido por uma cimalha, curva no pano central. É a partir deste elemento que se verificam as diferenças, uma vez que os corpos laterais deveriam corresponder a duas torres que nunca foram terminadas devido às resistências dos arquitectos, que as consideravam excessivamente estreitas. A solução encontrada foi a de edificar apenas uma torre central, sugestão apresentada em 1805 pelo arquitecto portuense Joaquim da Costa Lima e Sampaio. Contudo, tal só foi aceite pela Confraria em 1812, erguendo-se em dois registos, no eixo do portal. É percorrida por balaustrada e rematada por cúpula. Os corpos correspondentes às antigas torres são encimados também por balaustrada. Assim, e apesar das múltiplas condicionantes, parte das quais por falta de verbas, a igreja de Nossa Senhora das Dores ficou concluída no início do século XIX, denotando, na sua dinâmica e ritmos, uma linguagem arquitectónica e decorativa que se aproxima do gosto barroco.
No interior, e para além do já mencionado retábulo, ganha especial relevância o conjunto de azulejos da capela-mor, aplicados na década de 1870, e que se dividem em dois registos - de padrão “ponta de diamante” no primeiro e figurativos no segundo. Na nave, as capelas abrem-se em arco de volta perfeita e as paredes são, também, revestidas por azulejos de padrão.
No exterior, a iconografia de Nossa Senhora das Dores foi complementada, em 1886, pela construção de seis capelas de reduzidas dimensões, alusivas às dores da Virgem.
