Парсер соцсетей
  • Python 87.1%
  • HTML 11.2%
  • Dockerfile 0.9%
  • Shell 0.8%
Find a file
Lifee Agent ec87536444
Some checks failed
CI / lint-and-test (push) Has been cancelled
CI / deploy (push) Has been cancelled
fix: prioritize never-parsed publications in daily_collect_metrics
2026-08-14 09:52:04 +03:00
.forgejo/workflows ci: add Forgejo Actions workflow (lint, test, deploy) 2026-08-06 12:26:09 +03:00
config perf: template caching, persistent DB connections, Redis cache + sessions 2026-08-07 17:57:43 +03:00
secrets security: move secrets references out of md files; add .env.secrets.example 2026-08-06 12:42:37 +03:00
src fix: prioritize never-parsed publications in daily_collect_metrics 2026-08-14 09:52:04 +03:00
static/unfold feat(unfold): configure UNFOLD dict — SITE_LOGO, COLORS, ENVIRONMENT, SIDEBAR with collapsible sections 2026-07-13 17:41:24 +03:00
templates/admin feat(dashboard): enhance datepicker with month/year selects, Today/Yesterday buttons, auto-sync date range 2026-08-07 15:35:32 +03:00
.env.example feat: add Telegram status bot (telegram_bot service) 2026-08-06 11:22:07 +03:00
.env.secrets.example security: move secrets references out of md files; add .env.secrets.example 2026-08-06 12:42:37 +03:00
.gitignore security: move secrets references out of md files; add .env.secrets.example 2026-08-06 12:42:37 +03:00
.pre-commit-config.yaml chore: add ruff + pre-commit config 2026-08-06 12:17:51 +03:00
.test_confirm.txt feat: add creator_name to publication list_display 2026-07-10 17:54:25 +03:00
.tmp_test feat: add fix_missing_publication_network task (hourly) 2026-07-10 17:44:42 +03:00
AGENTS.md security: move secrets references out of md files; add .env.secrets.example 2026-08-06 12:42:37 +03:00
CHANGELOG.md chore: bump version to 2026.7.14 2026-07-24 15:22:05 +03:00
deploy.sh fix(deploy): update deploy.sh to honet-4 (was denet-1) 2026-08-06 12:05:04 +03:00
docker-compose.yml feat(telegram_bot): graceful shutdown on SIGTERM/SIGINT 2026-08-06 12:13:49 +03:00
Dockerfile build(docker): multi-stage Dockerfile to reduce image size and cache Playwright 2026-08-06 12:21:00 +03:00
IMPROVEMENT_PLAN.md docs: update IMPROVEMENT_PLAN.md with instagrapi best-practice items (#12-#18) 2026-07-21 17:45:53 +03:00
manage.py v2026.05.1 — Lifee: парсер соцсетей (TikTok, VK) 2026-05-26 16:31:35 +03:00
pyproject.toml chore: add ruff + pre-commit config 2026-08-06 12:17:51 +03:00
pytest.ini test: add pytest skeleton + smoke tests for models, discovery, parsers 2026-08-06 12:16:50 +03:00
README.md release: v2026.7.4 — Celery Redis fix, instagrapi relogin, allow_direct_parsing 2026-07-08 17:49:21 +03:00
requirements.txt feat(instagram): apply instagrapi best practices #12-#18 2026-07-21 17:58:12 +03:00
TOOLS.md security: move secrets references out of md files; add .env.secrets.example 2026-08-06 12:42:37 +03:00
VERSION chore: bump version to 2026.7.14 2026-07-24 15:22:05 +03:00

Lifee

Парсер метрик социальных сетей (TikTok, Instagram, YouTube, VK, Likee). Собирает лайки, комментарии, просмотры публикаций, хранит историю изменений и дельты метрик.

Эндпоинты

Стек

Компонент Технология
Backend Django 6.0
Admin django-unfold + import-export
ASGI Gunicorn + Uvicorn
Очереди Celery + Redis
БД PostgreSQL 18
Хранилище MinIO (S3) + django-storages
Парсинг TikTok Playwright (Chromium)
Парсинг Instagram instagrapi (Private API) + прокси (Thordata)
Парсинг YouTube yt-dlp
Парсинг VK vk_api
Парсинг Likee HTTP + Playwright fallback
Прокси Traefik v3 + Let's Encrypt
Контейнеризация Docker Compose

Установка

git clone https://git.isdata.tech/ciger3a/lifee.git
cd lifee

# Настройка окружения
cp .env.example .env
# отредактировать .env

# Docker
docker compose up -d
docker compose exec web python manage.py migrate
docker compose exec web python manage.py createsuperuser

Переменные окружения

Переменная Назначение
DJANGO_SECRET_KEY Секретный ключ Django
DJANGO_DEBUG Режим отладки (false на проде)
DJANGO_ALLOWED_HOSTS Разрешённые хосты
DATABASE_URL PostgreSQL DSN
DJANGO_ENCRYPTION_KEY Fernet-ключ для шифрования паролей
MINIO_ENDPOINT MinIO S3 API (внутренний)
MINIO_PUBLIC_URL Публичный URL MinIO
MINIO_ACCESS_KEY MinIO access key
MINIO_SECRET_KEY MinIO secret key
MINIO_BUCKET MinIO бакет
INSTAGRAM_PROXY HTTP/HTTPS прокси для Instagram (если не задан — берётся из БД social_proxy)
CELERY_BROKER_URL Брокер Celery (по умолчанию redis://localhost:6379/0)
CELERY_RESULT_BACKEND Бэкенд результатов Celery (по умолчанию redis://localhost:6379/1)

Расписание сбора

Время MSK Задача
08:30 Сбор метрик
13:00 Сбор метрик
17:30 Сбор метрик
23:30 Сбор метрик
00:30 DailyMetric (текущий день)
05:00 Ретро-пересчёт DailyMetric
11:00 Ретро-пересчёт DailyMetric
17:00 Ретро-пересчёт DailyMetric
23:00 Ретро-пересчёт DailyMetric