Skip to content

Python3 各种爬虫实战练习,JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化,Python 3 practice of various spiders.

Notifications You must be signed in to change notification settings

qicaiyun/Python3-Spider-Practice

 
 

Repository files navigation

Python3 Spider Practice —— Python3 爬虫实战练习


CSDN 爬虫实战专栏    个人博客爬虫实战专栏

BLOG URL    CSDN URL    Zhihu URL    MAIL    GitHub followers    GitHub Repo stars


关于 💡

  • ❗ 主要保存了本人在学习爬虫过程中写的代码,稍微复杂一点的在我博客里面有写分析过程,比较简单的项目,分析思路会直接写在 README 里面。

  • ❗ 项目中部分代码可能已失效,原因可能是反爬措施更新、页面结构发生变化等,失效的可以提 issue,有时间会更新代码。

  • 本仓库中所有内容仅供学习交流,严禁用于商业用途、非法用途,否则由此产生的一切后果均与作者无关,在本仓库中下载的文件学习完毕之后请于 24 小时内删除。

分类 🏷️

  • Material:爬虫相关资料,均从互联网收集;

  • AutomationTool:使用自动化工具进行数据采集、验证码处理等;

  • BasicTraining:基础训练,一般是比较简单的爬虫;

  • CommentPlugin:针对各大评论插件的爬虫,如 Facebook 评论插件等;

  • FightAgainstSpider:针对常见的反爬虫手段的爬虫,如字体加密等;

  • JSReverse:JS 加密解密、JS 逆向相关文章,重点关注逆向解密过程;【可以关注 K 哥爬虫 同步更新】

  • SignIn:针对各种签到、抽奖的爬虫;

  • SpiderDataVisualization:爬虫与数据可视化,如 COVID-19 数据可视化等。

目录 📑

目标 / 文章 代码
BasicTraining 基础训练
安居客武汉二手房【Beautiful Soup、CSV】 anjuke
豆瓣电影TOP250【Xpath、正则表达式、CSV】 douban-top250
瓜子全国二手车【Cookie、XPath、MongoDB】 guazi
虎扑论坛步行街【Beautiful Soup、MongoDB】 hupu
猫眼电影TOP100【lxml、Xpath、CSV 】 maoyan-top100
AutomationTool 自动化工具
模拟登陆哔哩哔哩【滑动验证码、Selenium】 bilibili-login
模拟登陆12306【点触验证码、Selenium】 12306-login
SpiderDataVisualization 数据可视化
前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】 51job
COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】 COVID-19
SignIn 签到抽奖
CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】 csdn-sign-in
CommentPlugin 评论插件
Facebook 评论插件、留言外挂程序 facebook-comments
Vuukle 评论插件 vuukle-comments
FightAgainstSpider 反反爬
58同城武汉出租房【网站加密字体、MySQL】 58tongcheng
JSReverse JS 逆向
JS 逆向百例
【爬虫知识】浏览器开发者工具使用技巧总结 \
【爬虫知识】爬虫常见加密解密算法 \
【JS 逆向百例】百度翻译接口参数逆向 fanyi_baidu_com
【JS 逆向百例】有道翻译接口参数逆向 fanyi_youdao_com
【JS 逆向百例】建筑市场监管服务平台企业数据 jzsc_mohurd_gov_cn
【JS 逆向百例】当乐网登录接口参数逆向 oauth_d_cn
【JS 逆向百例】房天下登录接口参数逆向 passport_fang_com
【JS 逆向百例】37网游登录接口参数逆向 www_37_com
【JS 逆向百例】层层嵌套!匀加速商城 RSA 加密 www_15yunmall_com
【JS 逆向百例】转变思路,少走弯路,小米加密分析 account_xiaomi_com
【JS 逆向百例】元素ID定位加密位置,天凤麻将数据逆向 tenhou_net
【JS 逆向百例】复杂的登录过程,最新微博逆向 weibo_com
【JS 逆向百例】无限debugger绕过,三河市政务网站互动数据逆向 zwfw_san-he_gov_cn
【JS 逆向百例】DOM事件断点调试,中烟新商盟登录逆向 www_xinshangmeng_com
【JS 逆向百例】XHR 断点调试,Steam 登录逆向 store_steampowered_com
【JS 逆向百例】如何跟栈调试?某 e 网通 AES 加密分析 web_ewt360_com
JS 逆向之 Hook,吃着火锅唱着歌,突然就被麻匪劫了! \
【JS 逆向百例】Fiddler 插件 Hook 实战,某创帮登录逆向 m_wcbchina_com
【JS 逆向百例】浏览器插件 Hook 实战,亚航加密参数分析 www_airasia_com
爬虫逆向基础,理解 JavaScript 模块化编程 webpack \
当爬虫工程师遇到CTF丨B站1024安全攻防题解 \
【JS 逆向百例】webpack 改写实战,G 某游戏 RSA 加密 www_gm99_com
【JS逆向百例】某音乐网分离式 webpack 非 IIFE 改写实战 www_kuwo_cn
爬虫逆向基础,认识 SM1-SM9、ZUC 国密算法 \
【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战 fuwu_nhsa_gov_cn
【JS 逆向百例】某易支付密码 MD5+AES 加密分析 epay_163_com
【JS 逆向百例】cnki 学术翻译 AES 加密分析 dict_cnki_net
【JS 逆向百例】Ether Rock 空投接口 AES256 加密分析 etherrock_ne
【JS 逆向百例】你没见过的社会主义核心价值观加密 www_appmiu_com
【JS 逆向百例】反混淆入门,某鹏教育 JS 混淆还原 learn_open_com_cn
【JS 逆向百例】W店UA,OB反混淆,抓包替换CORS跨域错误分析 d_weidian_com
【JS 逆向百例】WebSocket 协议爬虫,智慧树扫码登录案例分析 passport_zhihuishu_com
【JS 逆向百例】网洛者反爬练习平台第一题:JS 混淆加密,反 Hook 操作 spider_wangluozhe_com_challenge_1
【JS 逆向百例】网洛者反爬练习平台第二题:JJEncode 加密 spider_wangluozhe_com_challenge_2
【JS 逆向百例】网洛者反爬练习平台第三题:AAEncode 加密 spider_wangluozhe_com_challenge_3
【JS 逆向百例】网洛者反爬练习平台第四题:JSFuck 加密 spider_wangluozhe_com_challenge_4
【JS 逆向百例】网洛者反爬练习平台第五题:控制台反调试 spider_wangluozhe_com_challenge_5
【JS 逆向百例】网洛者反爬练习平台第六题:JS 加密,环境模拟检测 spider_wangluozhe_com_challenge_6
【JS 逆向百例】X球投资者社区 cookie 参数 acw_sc__v2 加密分析 xueqiu_com
【JS 逆向百例】PEDATA 加密资讯以及 zlib.gunzipSync() 的应用 max_pedata_cn
某空气质量监测平台无限 debugger 以及数据动态加密分析 www_aqistudy_cn
【JS 逆向百例】HN政务服务网登录逆向,验证码形同虚设 www_hnzwfw_gov_cn
华强电子网登录 passport_hqew_com
学易云登录 passport_xueyiyun_com
天安保险登录 tianaw_95505_cn
宁波大学登录 uis_nbu_edu_cn
航班管家人口流动大数据 unicom_trip_133_cn
惠金所登录 www_hfax_com
咪咕视频登录 www_miguvideo_com
企名片创业项目数据 www_qimingpian_cn
中国移动掌上门户登录 wap_10086_cn
中国联通网上营业厅登录 uac_10010_com
中国电信网上营业厅登录 login_189_cn
爱应用登录 www_iappstoday_com
360 登录 i_360_cn
1号店登录 passport_yhd_com
魅族登录 login_flyme_cn

交流群💬

K哥爬虫交流群

About

Python3 各种爬虫实战练习,JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化,Python 3 practice of various spiders.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • JavaScript 79.5%
  • HTML 12.5%
  • Python 8.0%