电影天堂资源抓取器v3.0
发表于|更新于|技术分享
前些时间写了个小爬虫抓盗版天堂的6000部电影的迅雷链接资源,但由于是命令行的也需要修改源码才能连接数据库,对一些同学不太友好。最近在玩tkinter就改造了下发布了GUI版v3.0,并在原本的命令行2.0版本上进行了多线程逻辑的优化,大大减小了崩溃的概率。之前的v2.0适合挂服务器上跑定时任务,现在的GUI版适合Mac
、Windows
上跑。另外做了windows的打包
- 命令行
- GUI
文章作者: xzajyjs
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 天问非攻!
相关推荐
2022-01-12
Telegraph多线程下载器v0.5--tkinter
介绍最近在拿python写一点小工具,结合之前的多线程、线程池技术做了个GUI版的Telegraph图册批量下载工具。 因为开发平台是在Mac,虽然对Windows平台的也进行了打包,但最垃圾的Windows存在各种兼容性问题,包括但不限于路径空格、dpi缩放、假全局代理等。 目前已经开源到了github,项目地址 各位大佬想要基于Windows平台改造的话需先把title进行分割 其他在写这个软件的时候主要遇到了一个tkinter和循环的冲突问题 在窗口类mainloop的过程中再进行循环则会等待循环结束窗口才会做出反应,对于小型循环模块可以采用全局变量、after定时刷新等来解决。这里用了一个子线程来处理整个selenium抓取的过程,在抓取到url后再上线程池,变相解决了这个问题。如果哪位大佬有更好的方法可以与我讨论。
2022-01-22
【自写信息搜集工具】ThunderSearch实现原理解析
前段时间结合zoomeye的开发文档做了个简易的信息搜集工具ThunderSearch【项目地址 / 博客地址】,这次来讲讲具体的实现原理和开发思路 首先要能看懂开发文档,https://www.zoomeye.org/doc#user,上面介绍了一些api的使用。我们只需要调用我们想要的api就可以获取到想要的数据。 1. 登陆根据文档,登陆方式分为两种,api-key和账号/密码,我这里使用了账号密码登陆的方式,主要是获取api-key需要登陆到网页比较麻烦。登陆的目的是为了拿到access-token,在后期的api调用过程中需要将其作为请求头发送。我们先来看access-token的获取。 文档中使用curl制造http请求,在python中可以使用requests 1234567891011import requestsimport jsonurl = "https://api.zoomeye.org/user/login"login_info = { "username" :...

2022-01-10
Python多线程、线程池及实际运用
我们在写python爬虫的过程中,对于大量数据的抓取总是希望能获得更高的速度和效率,但由于网络请求的延迟、IO的限制,单线程的运行总是不能让人满意。因此有了多线程、异步协程等技术。 下面介绍一下python中的多线程及线程池技术,并通过一个具体的爬虫案例实现具体运用。 多线程先来分析单线程。写两个测试函数 1234567def func1(): for i in range(500000): print("func1", i)def func2(): for i in range(500000): print("func2", i) 在主函数中调用 123if __name__ == "__main__": func1() func2() 当程序执行时,按照主程序中的执行顺序,func1全部运行完毕后才会运行func2,这就是单线程的效果。 接下来测试多线程。先导包 1from threading import...
2022-01-16
【信息搜集工具】ThunderSearch闪电搜索器
ThunderSearch 闪电搜索器项目地址:githubWindows打包版 利用ZoomEye的官方api,结合开发文档,做了这么一个GUI界面的搜索器。目前支持查询host_search 支持本地access_token的读取(免登陆) 支持账号(邮箱)+密码登录 查询显示结果仅为部分,完整内容保存至指定的文件 支持查询当月剩余额度 使用1pip install -r requirements.txt

2022-05-30
Django对接支付宝Alipay支付接口
我们在使用Django构建网站时常需要对接第三方支付平台的支付接口,这里就以支付宝为例(其他平台大同小异),使用支付宝开放平台的沙箱环境进行实验。 我们这里使用一个第三方的AliPay Python SDK(github) 下面看一下它的基本使用 调用流程 事实上需要我们网站服务端做的事并不多,只需要生成一个订单向支付宝发出支付请求,等用户支付完毕后向支付宝(通过同步和异步的方式)查询订单、交易信息即可。 在实际生产环境中,需要注意如下各种安全性问题: 由于同步返回的不可靠性,支付结果必须以异步通知或查询接口返回为准,不能依赖同步跳转。 商户系统接收到异步通知以后,必须通过验签(验证通知中的 sign 参数)来确保支付通知是由支付宝发送的。 接收到异步通知并验签通过后,请务必核对通知中的 app_id、out_trade_no、total_amount 等参数值是否与请求中的一致,并根据 trade_status 进行后续业务处理。 在支付宝端,partnerId 与 out_trade_no 唯一对应一笔单据,商户端保证不同次支付 out_trade_no...

2023-07-14
Flask结合gunicorn和nginx反向代理的生产环境部署及踩坑记录
前言之前自己写的flask使用gunicorn上线生产环境没有什么问题,但是最近搭建了一个现成的flask项目,当使用python直接运行时不会有问题,而使用gunicorn时则会出现一些问题。 部署过程运行测试这里使用pyenv创建了一个虚拟环境,并安装好依赖 123pyenv virtualenv 3.9.6 freegptpyenv activate freegptpip install -r requirements.txt 下面是入口函数run.py: 12345678910111213141516171819202122232425262728293031from server.app import appfrom server.website import Websitefrom server.backend import Backend_Apifrom json import loadif __name__ == '__main__': # Load configuration from config.json config...
评论