Skip to content

Instantly share code, notes, and snippets.

@tananin
Last active August 22, 2021 06:30
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save tananin/09a991d28347c2975ed1f1b58c650865 to your computer and use it in GitHub Desktop.
Save tananin/09a991d28347c2975ed1f1b58c650865 to your computer and use it in GitHub Desktop.

Сохранение результатов в Scrapy

Из коробки Scrapy потдерживае слудующие форматы для сохранения данных:

  • json
  • jsonlines
  • jl
  • csv
  • xml
  • marshal
  • pickle

Сохранение через командную строку

Сохранить данные можно указав в командной строке слудующую строку: -O result.xml Файл будет сохранён в текущей директории

Сохранения указав конфигурацию

Второй варинат сохранить данные можно указав в поауке секцию для кастомынх свойств

 custom_settings = {
        'FEEDS' : {
            'file://page-1.csv' : { #edit: uri needs to be absolute path
                'format' : 'csv',
                'store_empty' : True
            }
        },
        'FEED_EXPORT_ENCODING' : 'utf-8',
        'FEED_EXPORT_FIELDS' : ['author', 'quote']
    }
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment