Skip to content

Парсер на базе фреймворка Scrapy

Notifications You must be signed in to change notification settings

sheremet-o/scrapy_parser_pep

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Описание

Парсер документов PEP на базе фреймворка Scrapy. Парсер создает два файла отчета: файл со списком PEP, включающим номер документа, название и статус, и файл суммарной статистики по количеству документов в разных статусах.

Стек технологий

  • Python 3.10
  • Scrapy
  • SQLAlchemy

Запуск парсера

  1. Клонируйте репозиторий:
    git clone https://github.com/sheremet-o/pep_parser
  2. Создайте и активируйте виртуальное окружение:
    python -m venv .env
    source .env/Scripts/activate
  3. Установите зависимости:
    pip install -r requirements.txt
  4. Запустите парсер:
    scrapy crawl pep

Автор

Оксана Шеремет

About

Парсер на базе фреймворка Scrapy

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages