Выгрузка комментариев ВКонтакте

.gitignore

# See http://help.github.com/ignore-files/ for more about ignoring files.
#
# If you find yourself ignoring temporary files generated by your text editor
# or operating system, you probably want to add a global ignore instead:
#   git config --global core.excludesfile '~/.gitignore_global'

# Ignore popular IDE local-settings.
.idea/*
.settings/*

# Ignore generated comment files.
comments*

Gemfile.lock

README.md

Выгрузка комментариев Вконтакте в файл для бэкапа

Что это?

Данный код представляет собой примитивное веб-приложение, отрисовывающее единственную страницу содержащую javascript и кнопку для его активации.

Скрипт перебирает все страницы вашего приложения ВКонтакте, и выгружает все комментарии.

На выходе получается файл comments.txt, который можно использовать в бэкапе.

Как установить?

Лучше разворачивать всё на linux, если решите ставить на windows - вы сами выбрали путь боли.

Установите ruby и bundler.

Скачайте данный проект, и разархивируйте в папку с удобным для вас именем.

В файле config.yml укажите ваш vk_api_id.

В этом же файле (в пункте last_index) укажите ID вашего самого последнего комментария из бэкапа.

После этого в файл hosts добавьте:

127.0.0.1 your_site.com

Известный баг: после восстановления из бэкапа все комментарии становятся первоуровневыми (по вложенности), т.е. теряется "древовидность". (На данный момент вроде бы пофикшен, но нет возможности проверить.)

Как запустить?

Запустить сервер: bundle install && bundle exec ruby app.rb

Перед запуском скрипта обязательно разлогиниться в ВКонтакте, и не входить туда во время работы скрипта!

Открыть в браузере страницу (http://your_site.com:4567/) и пока НЕ нажимать кнопку Сделать всё!

После того, как страница загрузится, скопировать ваш файл comments.txt из бэкапа в папку с проектом.

После этого в браузере нажать кнопку Сделать всё!, дождаться окончания работы скрипта.

Комментарии ВКонтакте будут добавлены к уже существующим в файл comments.txt.

app.js.coffee.erb

$ ->
    API_ID = <%= @config['vk_api_id'] %>
    ANONYMOUS_NAME = '<%= @config['anonymous_name'] %>'
    offset = 0
    limit  = 200 # Maximum
    timeout_limit = <%= @config['vk_timeout'] %>
    avatar_field = 'photo_<%= @config['vk_avatar_size'] %>'
    page_index = 0
    rows_count = 0
    max_rows_count = 50
    last_index = <%= @config['last_index'] %>

    timer_id = null

    module_ids = {
        blog:  1
        news:  2
        publ:  3
        photo: 4
        load:  5
        dir:   6
        board: 7
    }

    parse_url = (url) ->
        a = url.split '/'
        {
            module_id:   module_ids[a[3]]
            material_id: a[a.length - 1].split('-').pop()
        }

    pages = []
    $target = $('#target')
    $progressbar = $('#progressbar')

    comment_template = (comment, options = {}) ->
        if comment.user
            username = "#{comment.user.first_name} #{comment.user.last_name}".replace(/\|/g, "&#124;")
        else
            username = ANONYMOUS_NAME
            comment.user = {}
        comment_text   = comment.text.replace(/\|/g, "&#124;")
        vk_avatar_url  = comment.user[avatar_field] || '\\N'
        vk_profile_url = comment.user.uid && "http://vk.com/id#{comment.user.uid}" || ''
        [
            comment.id                # id
            options.module_id         # module_id
            options.material_id       # material_id
            0                         # premoderation_flag (0 - active, 1 - disabled)
            comment.date              # created_at timestamp
            ''                        # nickname
            username                  # username
            ''                        # email
            comment.user.uid || ''    # site_url(?) || vk_uid
            '0.0.0.0'                 # ip
            comment_text              # text
            ''                        # answer text
            0                         # user_id
            options.parent_id         # parent_id
            0                         # rate
            ''                        # rate_user_ids
            0                         # unknown_id
            101                       # unknown_constant (101 (?) - vk, 0 - for ucoz, N - for old)
            comment.user.uid || '\\N' # vk_uid
            vk_profile_url            # vk_profile_url
            vk_avatar_url             # vk_avatar_url
            0                         # anonimous? (0 - no, 1 - yes)
            0                         # unknown_field
        ].join('|') + "|\n"

    VK.init(
        apiId: API_ID
        onlyWidgets: true
    )

    get_pages = () ->
        console.log "get_pages #{limit}, #{offset}"
        VK.Api.call('widgets.getPages',
            widget_api_id: API_ID
            period:        'alltime'
            count:         limit
            offset:        offset
        , (r) ->
            console.log 'get_pages response'
            unless r.response
                console.log "ERROR: call 'widgets.getPages'"
                console.log r
                return
            for page in r.response.pages
                if page.comments.count
                    pages.push page
            if r.response.pages.length < limit || (offset + limit) >= parseInt(r.response.count)
                console.log 'Clear interval...'
                clearInterval timer_id
                start_comment_cycle()
                return
            offset += limit
            console.log "Limit: #{limit}, offset: #{offset}, count: #{r.response.count}"
            return
        )
        return
    get_pages() # VK login

    $('#get_pages').click ->
        $(this).prop('disabled', true)
        console.log 'click!'
        old_offset = offset
        get_pages()
        timer_id = setInterval(() ->
            console.log "cycle... #{old_offset} #{offset}"
            if old_offset != offset
                old_offset = offset
                get_pages()
            return
        , timeout_limit)
        return

    start_comment_cycle = () ->
        console.log 'start_comment_cycle!'
        old_index = page_index = 0
        get_comments_for(pages[page_index])
        timer_id = setInterval(() ->
            console.log "get_comments cycle... i#{old_index} i#{page_index} #{pages[page_index].url} (#{pages[page_index].page_id})"
            if old_index != page_index
                old_index = page_index
                get_comments_for(pages[page_index])
            return
        , timeout_limit)
        return

    get_comments_for = (page) ->
        old_offset = offset = 0
        local_timer_id = null
        result = ''
        vk_get_comments = () ->
            options =
                widget_api_id: API_ID
                url:           page.url
                count:         limit
                offset:        offset
                fields:        ['from_id', 'date', 'text', 'replies', avatar_field]
            options['page_id'] = page.page_id if page.page_id
            VK.Api.call("widgets.getComments", options, (r) ->
                unless r.response
                    console.log "ERROR: call 'widgets.getComments'"
                    console.log r
                    return
                add_to_result = (com, parent_id = null) ->
                    options = parse_url page.url
                    options.parent_id = com.parent_id || parent_id || 0
                    result += comment_template(com, options)
                    rows_count += 1
                    return
                result_arr = []
                user_ids   = []
                for comment in r.response.posts
                    last_index += 1
                    comment.id = last_index
                    result_arr.push comment
                    user_ids.push(comment.from_id) unless comment.user
                    # Если на этот комментарий отвечали...
                    if comment.comments.replies.length
                        # Добавляем каждый ответ к себе
                        for reply in comment.comments.replies
                            last_index += 1
                            reply.id = last_index
                            # Для ответов иногда не подгружается информация о пользователе.
                            # Для комментариев первого уровня такого поведения не замечено
                            user_ids.push(reply.uid) unless reply.user
                            reply.parent_id = comment.id
                            result_arr.push reply

                final_callback = ->
                    if r.response.count < limit || (offset + limit) >= parseInt(r.response.count)
                        $target.append result
                        add_to_file = (need_clear = true) ->
                            $.post('/add_to_file',
                                comments: $target.html(),
                                (data) ->
                                    $progressbar.hide()
                                    $target.html('')
                                    rows_count = 0
                                    if need_clear
                                        clear_interval()
                                    else # all is done, refresh page
                                        window.location.reload()
                                    return
                            )
                            return
                        clear_interval = () ->
                            console.log "Clear getComments #{page_index} interval..."
                            clearInterval(local_timer_id)
                            if (page_index + 1) >= pages.length
                                console.log "Clear main pages interval..."
                                clearInterval timer_id
                                add_to_file(false)
                                return
                            page_index += 1
                            return
                        if rows_count >= max_rows_count
                            $progressbar.show()
                            add_to_file()
                        else
                            clear_interval()
                        return
                    offset += limit
                    console.log "Limit: #{limit}, offset: #{offset}, count: #{r.response.count}"
                    return

                if user_ids.length
                    VK.Api.call('users.get',
                        user_ids: user_ids
                        fields:   [avatar_field]
                    , (ur)->
                        console.log "users.get"
                        console.log user_ids
                        console.log ur
                        users = {}
                        for user in ur.response
                            users[user.uid] = user
                        console.log users
                        for comment in result_arr
                            comment.user ||= users[comment.from_id || comment.uid]
                            add_to_result comment
                        final_callback()
                        return
                    )
                else
                    for r_comment in result_arr
                        add_to_result r_comment
                    final_callback()
                return
            )
            return
        vk_get_comments()
        local_timer_id = setInterval(() ->
            if old_offset != offset
                old_offset = offset
                vk_get_comments()
            return
        , timeout_limit)
        return

    return

app.rb

# -*- encoding : utf-8 -*-

require 'yaml'
require 'bundler'

Bundler.require

set :views, File.dirname(__FILE__)

COM_FILENAME  = 'comments.txt'.freeze
ROOT_DIR      = File.expand_path(File.dirname(__FILE__)).freeze
FULL_FILENAME = File.join(ROOT_DIR, COM_FILENAME).freeze

get '/' do
  @file_url = File.exist?(FULL_FILENAME) ? "/#{COM_FILENAME}" : nil
  haml :template
end

post '/add_to_file' do
  File.open(FULL_FILENAME, 'a') do |f|
    f << params['comments']
  end
  status 204
  ''
end

get '/app.js' do
  @config  = YAML.load_file(File.join(ROOT_DIR, 'config.yml'))['settings']
  coffee erb(:'app.js.coffee')
end

get "/#{COM_FILENAME}" do
  send_file COM_FILENAME
end

config.yml

---

settings:
  vk_api_id:      2014686
  vk_avatar_size: 50      # 50, 100, 200, 'max'
  vk_timeout:     300     # ms
  last_index:     0
  anonymous_name: 'Anonymous'

Gemfile

# -*- encoding : utf-8 -*-

source 'https://rubygems.org'

gem 'sinatra',       '>= 1.4.5'
gem 'haml',          '>= 4.0.0'
gem 'coffee-script', '>= 2.2.0'
gem 'therubyracer',  '>= 0.12.1'

template.haml

!!!
%html{:lang => 'ru'}
  %head
    %meta{:charset => 'utf-8'}
    %title VK comments util
    %script{:src => 'http://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js'}
    %script{:src => 'http://vk.com/js/api/openapi.js?113'}
    %script{:src => 'app.js'}
    :css
      textarea {
        width: 99%;
        resize: none;
        white-space: nowrap;
        overflow-x: scroll;
      }
      img {
        border: 0;
      }
      #progressbar {
        display: none;
      }
  %body
    - if @file_url
      %a{:href => @file_url} Скачать файл
    - else
      %button#get_pages{:type => 'button'}
        Сделать всё!
      %span#progressbar
        Отправляем данные...
        %img{:src => 'http://www.ucoz.ru/.s/img/wd/6/ajaxs.gif'}
      %textarea#target{:readonly => true, :rows => 50, :wrap => 'off'}