rvest::follow_linkサンプル

follow_link.R

library(rvest)

page <- 1
sesh <- html_session('[クローリングするURL]')
Sys.sleep(10)
repeat{
  sesh <- tryCatch(follow_link(sesh, "次の20件"), error=function(e)(return(NULL)))
  message(Sys.time(), ' ', sesh$url)
  page <- page + 1
  
  # "次の20件"がない or 10回進んだらループを抜ける
  if(is.null(sesh) || page == 10) break

  Sys.sleep(10)
}