Siga os passos desse tutorial para criar sua aplicação. Ignore a parte de criar um ACCESS TOKEN, por enquanto.
Ao clicar no seu botão de "Login com o Instagram", direcione seu usuário para a Página de Autorização do Instagram, alterando as partes em maiúsculo:
https://api.instagram.com/oauth/authorize/?client_id=CLIENT_ID&redirect_uri=REDIRECT_URI&response_type=token
Essas informações estão na página Manage Clients, se você criou sua aplicação.