电影天堂资源抓取器v3.0
前些时间写了个小爬虫抓盗版天堂的6000部电影的迅雷链接资源，但由于是命令行的也需要修改源码才能连接数据库，对一些同学不太友好。最近在玩tkinter就改造了下发布了GUI版v3.0，并在原本的命令行2.0版本上进行了多线程逻辑的优化，大大减小了崩溃的概率。之前的v2.0适合挂服务器上跑定时任务，现在的GUI版适合Mac、Windows上跑。另外做了windows的打包
- 命令行
- GUI
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 天问非攻！
USDT-TRX
相关推荐
2022-01-12
Telegraph多线程下载器v0.5--tkinter
介绍最近在拿python写一点小工具，结合之前的多线程、线程池技术做了个GUI版的Telegraph图册批量下载工具。 因为开发平台是在Mac，虽然对Windows平台的也进行了打包，但最垃圾的Windows存在各种兼容性问题，包括但不限于路径空格、dpi缩放、假全局代理等。 目前已经开源到了github，项目地址 各位大佬想要基于Windows平台改造的话需先把title进行分割 其他在写这个软件的时候主要遇到了一个tkinter和循环的冲突问题 在窗口类mainloop的过程中再进行循环则会等待循环结束窗口才会做出反应，对于小型循环模块可以采用全局变量、after定时刷新等来解决。这里用了一个子线程来处理整个selenium抓取的过程，在抓取到url后再上线程池，变相解决了这个问题。如果哪位大佬有更好的方法可以与我讨论。
2022-01-22
【自写信息搜集工具】ThunderSearch实现原理解析
前段时间结合zoomeye的开发文档做了个简易的信息搜集工具ThunderSearch【项目地址 / 博客地址】，这次来讲讲具体的实现原理和开发思路 首先要能看懂开发文档，https://www.zoomeye.org/doc#user，上面介绍了一些api的使用。我们只需要调用我们想要的api就可以获取到想要的数据。 1. 登陆根据文档，登陆方式分为两种，api-key和账号/密码，我这里使用了账号密码登陆的方式，主要是获取api-key需要登陆到网页比较麻烦。登陆的目的是为了拿到access-token，在后期的api调用过程中需要将其作为请求头发送。我们先来看access-token的获取。 文档中使用curl制造http请求，在python中可以使用requests 1234567891011import requestsimport jsonurl = "https://api.zoomeye.org/user/login"login_info = { "username" :...
2022-01-10
Python多线程、线程池及实际运用
我们在写python爬虫的过程中，对于大量数据的抓取总是希望能获得更高的速度和效率，但由于网络请求的延迟、IO的限制，单线程的运行总是不能让人满意。因此有了多线程、异步协程等技术。 下面介绍一下python中的多线程及线程池技术，并通过一个具体的爬虫案例实现具体运用。 多线程先来分析单线程。写两个测试函数 1234567def func1(): for i in range(500000): print("func1", i)def func2(): for i in range(500000): print("func2", i) 在主函数中调用 123if __name__ == "__main__": func1() func2() 当程序执行时，按照主程序中的执行顺序，func1全部运行完毕后才会运行func2，这就是单线程的效果。 接下来测试多线程。先导包 1from threading import...
2022-01-16
【信息搜集工具】ThunderSearch闪电搜索器
ThunderSearch 闪电搜索器项目地址：githubWindows打包版 利用ZoomEye的官方api，结合开发文档，做了这么一个GUI界面的搜索器。目前支持查询host_search 支持本地access_token的读取(免登陆) 支持账号(邮箱)+密码登录 查询显示结果仅为部分，完整内容保存至指定的文件 支持查询当月剩余额度 使用1pip install -r requirements.txt
2022-05-30
Django对接支付宝Alipay支付接口
我们在使用Django构建网站时常需要对接第三方支付平台的支付接口，这里就以支付宝为例（其他平台大同小异），使用支付宝开放平台的沙箱环境进行实验。 我们这里使用一个第三方的AliPay Python SDK(github) 下面看一下它的基本使用 调用流程 事实上需要我们网站服务端做的事并不多，只需要生成一个订单向支付宝发出支付请求，等用户支付完毕后向支付宝(通过同步和异步的方式)查询订单、交易信息即可。 在实际生产环境中，需要注意如下各种安全性问题： 由于同步返回的不可靠性，支付结果必须以异步通知或查询接口返回为准，不能依赖同步跳转。 商户系统接收到异步通知以后，必须通过验签（验证通知中的 sign 参数）来确保支付通知是由支付宝发送的。 接收到异步通知并验签通过后，请务必核对通知中的 app_id、out_trade_no、total_amount 等参数值是否与请求中的一致，并根据 trade_status 进行后续业务处理。 在支付宝端，partnerId 与 out_trade_no 唯一对应一笔单据，商户端保证不同次支付 out_trade_no...
2023-07-14
Flask结合gunicorn和nginx反向代理的生产环境部署及踩坑记录
前言之前自己写的flask使用gunicorn上线生产环境没有什么问题，但是最近搭建了一个现成的flask项目，当使用python直接运行时不会有问题，而使用gunicorn时则会出现一些问题。 部署过程运行测试这里使用pyenv创建了一个虚拟环境，并安装好依赖 123pyenv virtualenv 3.9.6 freegptpyenv activate freegptpip install -r requirements.txt 下面是入口函数run.py： 12345678910111213141516171819202122232425262728293031from server.app import appfrom server.website import Websitefrom server.backend import Backend_Apifrom json import loadif __name__ == '__main__': # Load configuration from config.json config...
评论
