tananin

Как расчитать процент скидки на товар

Создаёт снипет sale

<?php
$price = empty($price) ? 0 : str_replace(' ', '', $price);
$old_price = empty($old_price) ? 0 : str_replace(' ', '', $old_price);

if($old_price > 0){

$percent = ceil(100 - ($price * 100 / $old_price));

tananin

Сохранение данных в CSV

1. Импортируем модуль CSV
2. Открываем файл для записи
3. Записываем заголовок
4. Записываем данные

tananin

Парсин сайта с помощью requests, BeautifulSoup, csv

Устанавливаем нужные библиотеки

pip install requests 
pip install beautifulsoup4 
pip install lxml

tananin

Laravel + Docker (Nginx+PHP-Fpm+MySQL+phpMyAdmin)

Пример https://github.com/Avb-89/kt-team

version: "3.3"

services:
  nginx:

tananin

Scrapy фреймвор для парсинга, сбора данных

1. Устанавливаем Scrapy pip install scrapy
2. Создаём проект Scrapy scrapy startproject my_name_project
3. Переходим в терминале в созданную директорию cd my_name_project
4. Создаём паука scrapy genspider example www.example.ru (имя паука и проекта не должны совподать)
5. Открываем созданный файл паука /spiders/example.py
6. Запуск паука scrapy crawl example

Отладка

tananin

Маскировка и скрытие парсинга

Сервис позволяющий определить бота: https://intoli.com/blog/not-possible-to-block-chrome-headless/chrome-headless-test.html Если открыть данный сервис в Selenium будет определён наличие вебдрайвера

https://www.youtube.com/watch?v=KMSC1yzJRSI

Настройи Firefox

Фаерфох позволяет менять любые настройки браузера через конфигуратор about:config (набрать в строке запросов)

tananin

Django созданно по курсу с YouTube

Курс: https://www.youtube.com/watch?v=EY3nn3u-eRQ

Установка

1. Создаим проект и окружение Python
2. Установим Django: pip install django
3. Создадим проект: django-admin startproject name_project
4. Запустим маграции: python manage.py migrate
5. Запустим сервер: python manage.py runserver

tananin

Сохранение результатов в Scrapy

Из коробки Scrapy потдерживае слудующие форматы для сохранения данных:

• json
• jsonlines
• jl
• csv
• xml
• marshal
• pickle

tananin

Парсин сайтов на Python

Библиотеки

Нам понадобится 3 библиотеки

• Requests: https://pypi.org/project/requests/
• BeautifulSoup4: https://pypi.org/project/beautifulsoup4/
• Lxml: https://pypi.org/project/lxml/
• Logging: Логирование
• Collections:

tananin

Визуальный редактор

1. Установим плагин Wysiwyg Editors

2. В настройках включаем CKEditor, указываем Места использования

3. В файле настроек plugins/anandpatel/wysiwygeditors/formwidgets/editor/assets/ckeditor/config.js

4. Прописываем путь до файла стилей

   CKEDITOR.editorConfig = function( config ) { CKEDITOR.config.extraPlugins = 'ocmediamanager,ocpagelink,ocmedialink,ocmediavideo,ocmediaaudio'; CKEDITOR.config.contentsCss = ["/themes/prolog/assets/css/style.min.css"];