Skip to content

Instantly share code, notes, and snippets.

View tananin's full-sized avatar

Maxim Tananin tananin

2 followers · 1 following
View GitHub Profile
@tananin
tananin / save.md
Last active October 18, 2021 08:54

Сохранение данных в CSV

  1. Импортируем модуль CSV
  2. Открываем файл для записи
  3. Записываем заголовок
  4. Записываем данные
@tananin
tananin / parsing.md
Last active October 16, 2021 10:34

Парсин сайта с помощью requests, BeautifulSoup, csv

Устанавливаем нужные библиотеки

pip install requests 
pip install beautifulsoup4 
pip install lxml
@tananin
tananin / Detect.md
Last active August 28, 2021 10:47

Маскировка и скрытие парсинга

Сервис позволяющий определить бота: https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html Если открыть данный сервис в Selenium будет определён наличие вебдрайвера

https://www.youtube.com/watch?v=KMSC1yzJRSI

Настройи Firefox

Фаерфох позволяет менять любые настройки браузера через конфигуратор about:config (набрать в строке запросов)

@tananin
tananin / Readmy.md
Last active August 28, 2021 07:07

Django созданно по курсу с YouTube

Курс: https://www.youtube.com/watch?v=EY3nn3u-eRQ

Установка

  1. Создаим проект и окружение Python
  2. Установим Django: pip install django
  3. Создадим проект: django-admin startproject name_project
  4. Запустим маграции: python manage.py migrate
  5. Запустим сервер: python manage.py runserver
@tananin
tananin / readmy.md
Last active August 22, 2021 06:30

Сохранение результатов в Scrapy

Из коробки Scrapy потдерживае слудующие форматы для сохранения данных:

  • json
  • jsonlines
  • jl
  • csv
  • xml
  • marshal
  • pickle
@tananin
tananin / readmy.md
Last active October 16, 2021 07:07

Scrapy фреймвор для парсинга, сбора данных

  1. Устанавливаем Scrapy pip install scrapy
  2. Создаём проект Scrapy scrapy startproject my_name_project
  3. Переходим в терминале в созданную директорию cd my_name_project
  4. Создаём паука scrapy genspider example www.example.ru (имя паука и проекта не должны совподать)
  5. Открываем созданный файл паука /spiders/example.py
  6. Запуск паука scrapy crawl example

Отладка

@tananin
tananin / Readme.md
Last active August 14, 2021 08:51
@tananin
tananin / readmy.md
Created July 31, 2021 05:53

Виджеты

  1. Включаем потдержку виджетов add_theme_support('widgets') в файле functions.php
  2. Зарегестрируем облость для виджетов: register_sidebar()
@tananin
tananin / Hierarchy-pages.md
Last active July 31, 2021 08:50

Иерархия страниц wordpress

Вордпресс изначально это блоговый движок и шаблоны для разных типов страниц имеют свою особенную иерархию.

Странице По умолчанию если нет в другом случае
Home Page (posts) home.php - index.php
Home Page (page) front-page.php - index.php
Single Post single.php singular.php index.php
Single Page page.php singular.php index.php
@tananin
tananin / functions.php
Last active July 31, 2021 08:51
<?php
// Carbon Fields. Theme options.
require get_theme_file_path() . '/inc/carbonfields.php';
// Carbon Fields Gutenberg bloks.
require get_theme_file_path() . '/inc/carbonblocks.php';