É nessário gerar uma chave SSH, considerando que você ainda não possua uma:

ssh-keygen -t rsa -C "[seu_email]" -b 4096 

Inicie o agente SSH na sua máquina:

eval $(ssh-agent -s)

Agora você precisa adicionar a chave gerada na lista de chaves públicas:

ssh-add ~/.ssh/id_rsa

Copie a sua nova chave para salvar nas configurações do servidor que você deseja acessar:

cat ~/.ssh/id_rsa.pub

Utilizei o DigitalOcean, então eu fui em Settings > Security > Add SSH Key e salvei a chave de acesso. Caso seja no BitBucket, acesse a opção Seu perfil e configurações > Personal settings > chaves SSH.

Agora você já pode se conectar ao servidor, pois o seu acesso será autorizado:

ssh [IP_do_servidor] -p 22 -l [nome_de_usuário]