Skip to content

Instantly share code, notes, and snippets.

@Butochnikov
Created April 4, 2014 00:05
Show Gist options
  • Save Butochnikov/9965379 to your computer and use it in GitHub Desktop.
Save Butochnikov/9965379 to your computer and use it in GitHub Desktop.

Для запросов можно юзать стандартный http://golang.org/pkg/net/http/

С парсингом все несколько сложней. Есть пакет http://godoc.org/code.google.com/p/go.net/html и на его базе https://godoc.org/code.google.com/p/go-html-transform/h5. Вот два маленьких примера http://canop.org/blog/?p=439 и http://golang-examples.tumblr.com/post/47426518779/parse-html. Еще есть непонятный https://github.com/moovweb/gokogiri. Ну и старый добрый http://golang.org/pkg/regexp/

Если нужно сохранять в базу, то тут легионы вариантов.

Самый большой плюс Go в скрейпинге - это, конечно же, го-рутины. Запустил на четырех ядрах несколько рутин и вообще не паришься. С питоном тож так можно делать, но с Go значительно проще.

upd:

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment