Византийский писатель Прокопий упоминает о крепости Алустон впервые в своём трактате «О постройках». Крым был внешнеполитическим интересом Византии  во времена правления императора Юстиниана I. Поэтому на Южном берегу появились два укрепления: «Алустон» и «В Горзувитах». Крепость Алустон в 10-11 веках превращается в город, который населяют рыбаки, ремесленники, торговцы, а рядом с крепостью-городом поселяются открытые поселения, где жители снабжали, по-видимому, горожан продуктами сельского хозяйства.

Вероятно, как и другие укрепления Крыма, в 11-12 веках Алустон платит дань половцам, а уже с 13 века – татарам. Крепость была передана генуэзцам по договору 1380 г., вместе с селениями Судакской округи.

Крепость Алустон во времена генуэзцов, занимала вершину холма, которая стояла на 200 м от моря и была построена в виде четырёхугольника неправильной формы. Из двух линий состояла оборонительная стена – внешней стены, которая была укреплена тремя башнями, и цитадели. По всему периметру располагались стены. А вот длина западной линии обороны составляла 135 м, а северо-восточной – 150 м., южной – 125 м.. Между башнями расстояние около 77 м. Всей крепости размеры составляют 135х125 м. В настоящее время стены цитадели почти на поверхности не прослеживаются.