В начале XIII века на этом месте уже было городище древних эстов Тарванпеа, на месте которого датские захватчики возвели в XIII веке замок, назвав его на немецкий манер Везенберг. В 1346 году замок перешел во владение немецкого Ливонского ордена, и в следующем столетии на холме Валлимяги построили мощный каменный замок. Замок был разрушен в конце XVI - начале XVII веков в ходе сражений.