Первые сутки на VPS: что сделать сразу
Новый VPS уже отвечает по SSH, и хочется сразу ставить сайт. Лучше сначала закрыть базу: через сутки сервер с заводским паролем и без обновлений интересен уже не только вам.

Запишите, как вы входите
Сохраните IP-адрес, имя пользователя и способ входа отдельно от переписки. Если доступ пропадёт, эти три строки понадобятся раньше, чем вы вспомните, куда их дели. Пароль из письма после первого входа смените.
Поставьте обновления
На Ubuntu и Debian это apt update и apt upgrade, на Alma и Rocky — dnf upgrade. Так закрываются уже известные дыры в системе, которую вы ещё не настроили. Перезагрузка после обновления ядра — нормальный шаг, пока на сервере нет боевого сайта.
Не сидите постоянно под root
Заведите отдельного пользователя и дайте ему sudo. Дальше заходите им. Root оставьте для тех случаев, когда без него нельзя: случайная команда от обычного пользователя не сносит систему целиком, а журнал входов проще читать.
Ключ вместо пароля
SSH-ключ не подбирают перебором, и его удобнее, чем длинный пароль. Сгенерируйте пару на своём компьютере, публичную часть положите на сервер, убедитесь, что вход с ключом работает, и только потом отключайте пароль. Если выключить пароль раньше, сервер придётся открывать через консоль в панели.
Не открывайте лишние порты
Сайту обычно нужны 80 и 443, SSH — 22 или порт, который вы задали сами. Базу оставьте на localhost, если к ней ходит только сайт на этом же сервере. Панели управления базой и почтовые порты наружу не выставляйте, пока они правда не нужны.
После этого можно ставить веб-сервер и переносить проект. Откатить эти шаги позже труднее, чем сделать их в первый день.