La punta de la roca de Fort Frederick, conocida como Swami Rock, está coronada por este templo hindú dedicado a Shiva. En el mismo lugar, el templo Thirukonamalai Konesar, construido en el año 200 a.C. y que antaño atraía a peregrinos de toda Asia, fue destruido por los portugueses en 1624. El objetivo era reutilizar el material para construir el fuerte que se convertiría en Fort Frederick. Se puede imaginar el esplendor del monumento si se tiene en cuenta que sus propios destructores lo llamaron "el templo de los mil pilares". Fue reconstruido en 1963 con el nombre de Koneswaram Kovil. Aunque de menor escala que su predecesor, sigue siendo un importante lugar de culto para los hindúes y un popular lugar de visita para los seguidores de otras religiones. Una gran estatua de Shiva vigila el lugar. Es un lugar muy concurrido los días de poya.

Swami Rock es la parte norte de la roca sobre la que están construidos Fort Frederick y Koneswaram Kovil. Su nombre significa "Roca del Señor". Swami Rock se eleva 130 metros sobre las olas y ofrece una vista muy pintoresca de las dos bahías que la rodean, Back Bay y Dutch Bay.

Lover's Leap, el punto más alto de Swami Rock, esconde una tragedia que ocurrió realmente aquí. Fue aquí donde, el 24 de abril de 1687, Francina Van Reed, hija de un oficial holandés, se arrojó al mar tras ver desaparecer por el horizonte el barco de su prometido. La fecha de esta tragedia está inscrita en un pilar, casi borrada.