← 返回首页

📦 短剧数据解析工具

基于 Python 的短剧数据解析与管理系统，支持数据解析、图片压缩、SQLite 存储

项目介绍

本项目是一个短剧数据解析工具，基于 Python + BeautifulSoup 开发，可从目标网站解析短剧信息并存储到本地 SQLite 数据库。解析的数据包括：短剧标题、封面图（自动下载并压缩）、集数、更新状态、详情页链接及剧集播放地址。

主要功能

技术栈

Python 3 BeautifulSoup SQLite Pillow Requests

🛠️ 搭建流程

1
安装依赖
pip install requests beautifulsoup4 pillow
2
运行工具
python crawler.py
python crawler.py crawl 3 # 解析3页
python crawler.py crawl 3 true # 解析3页并解析视频地址
3
部署到服务器（Docker 方式）
# 上传 db 文件到服务器
scp duanju.db user@server:/www/wwwroot/duanju/
# 拷贝进 Docker 容器并重启
docker cp duanju.db duanju:/app/duanju.db
docker restart duanju

⬇️ 下载项目

包含完整源码、SQLite 数据库及解析脚本

📦 下载 duanju.zip
已下载 加载中… 次

⚠️ 免责声明

1. 本项目仅供学习、研究和技术交流之用，不得用于任何商业目的。

2. 本工具仅针对已授权或开放接口的数据，不含主动爬取行为。

3. 本项目不涉及任何视频资源的存储与分发，仅作数据采集技术演示。

4. 使用本项目所产生的任何法律责任，由使用者自行承担。

5. 请遵守所在地法律法规及目标网站的 robots.txt 协议，合理使用。