Чтобы не городить лишний софт и использовать шифрование, воспользуемся протоколом SFTP (SSH File Transfer Protocol), который входит в состав Openssh.
На сервере
Логинимся на сервер по ssh и создаем пользователя sftp-user, запрещаем ему локальный вход и возможность выходить за пределы своей домашней директории:useradd -d /dev/null -M -s /bin/bash sftp-user
passwd sftp-user