电影天堂资源抓取器v3.0
前些时间写了个小爬虫抓盗版天堂的6000部电影的迅雷链接资源,但由于是命令行的也需要修改源码才能连接数据库,对一些同学不太友好。最近在玩tkinter就改造了下发布了GUI版v3.0,并在原本的命令行2.0版本上进行了多线程逻辑的优化,大大减小了崩溃的概率。之前的v2.0适合挂服务器上跑定时任务,现在的GUI版适合Mac、Windows上跑。另外做了windows的打包 https://xzajyjs.lanzouy.com/i6Fzzyqlfbc密码:4eij 命令行 GUI github地址
Telegraph多线程下载器v0.5--tkinter
介绍最近在拿python写一点小工具,结合之前的多线程、线程池技术做了个GUI版的Telegraph图册批量下载工具。 因为开发平台是在Mac,虽然对Windows平台的也进行了打包,但最垃圾的Windows存在各种兼容性问题,包括但不限于路径空格、dpi缩放、假全局代理等。 目前已经开源到了github,项目地址 各位大佬想要基于Windows平台改造的话需先把title进行分割 其他在写这个软件的时候主要遇到了一个tkinter和循环的冲突问题 在窗口类mainloop的过程中再进行循环则会等待循环结束窗口才会做出反应,对于小型循环模块可以采用全局变量、after定时刷新等来解决。这里用了一个子线程来处理整个selenium抓取的过程,在抓取到url后再上线程池,变相解决了这个问题。如果哪位大佬有更好的方法可以与我讨论。
Python多线程、线程池及实际运用
我们在写python爬虫的过程中,对于大量数据的抓取总是希望能获得更高的速度和效率,但由于网络请求的延迟、IO的限制,单线程的运行总是不能让人满意。因此有了多线程、异步协程等技术。 下面介绍一下python中的多线程及线程池技术,并通过一个具体的爬虫案例实现具体运用。 多线程先来分析单线程。写两个测试函数 1234567def func1(): for i in range(500000): print("func1", i)def func2(): for i in range(500000): print("func2", i) 在主函数中调用 123if __name__ == "__main__": func1() func2() 当程序执行时,按照主程序中的执行顺序,func1全部运行完毕后才会运行func2,这就是单线程的效果。 接下来测试多线程。先导包 1from threading import...
frp实现基于反向代理的内网穿透
frp是什么简单地说,frp就是一个反向代理软件,它体积轻量但功能很强大,可以使处于内网或防火墙后的设备对外界提供服务,它支持HTTP、TCP、UDP等众多协议。 实验环境 一台拥有公网IP的VPS(Linux) 需要进行内网穿透的实验机Windows(暂不支持macOS) 三种服务样例1. ssh服务在Linux上和Win上分别下载对应的最新Release版本(点我跳转) 12tar -zxv frp_0.38.0_linux_amd64.tar.gzcd frp_0.38.0_linux_amd64 在我们的公网服务器 Server A上配置 frps.ini设置通信端口 123# frps.ini[common]bind_port = 7000 启动服务 1./frps -c frps.ini 接着配置我们Windows端的 frpc.ini (这次我们实验使用默认的ssh类型即可) 12345678910# frpc.ini[common]server_addr = x.x.x.xserver_port = 7000[ssh]type =...
CobaltStrike上线Linux
在红蓝对抗中,我们常需要对目标进行长时间的控制,cobaltstrike原生对于上线windows比较轻松友好,但如果是Linux平台就需要用到第三方插件了。 准备工作这里使用CrossC2的插件,类似于在linux上反弹一个cobaltstrike类的shell。 github:https://github.com/gloxec/CrossC2 下载时注意自己的cs版本(我这里使用的是3.0.2的最新版插件,cs版本为4.3) 需要下载以下两个文件: CrossC2***.cna、genCrossC2.Linux 由于我的木马是在linux平台生成的,因此使用genCrossC2.Linux,可根据自己平台的差异自行选择 服务端部署cobaltstrike服务端部署 12chmod +x teamserver./teamserver [ip]...
Proxypool代理池搭建
前言项目地址 : https://github.com/jhao104/proxy_pool 这个项目是github上一个大佬基于python爬虫制作的定时获取免费可用代理并入池的代理池项目 我们来具体实现一下。 具体操作1.安装配置redis将自动爬取的代理入池需要redis数据库,首先就得安装redis。 redis官方建议我们在linux上安装,安装方式主要有两种,直接包获取或手动安装。 - 指令安装1apt-get install redis-server - 手动安装在官网下载最新redis安装包,导入Linux。 1234567tar -zxvf redis-6.2.6.tar.gzcd redis-6.2.6/makemake installcd /usr/local/binmkdir configcp /opt/redis-6.2.6/redis.conf config #...
Proxychains完成Linux命令行代理
前言Proxychains是一个Linux和类Unix平台非常流行的命令行代理工具,它支持强制应用的 TCP 连接通过代理,支持 Tor、HTTP与 Socks 代理。与 sshuttle 不同的是,ProxyChains 只会将当前应用的 TCP 连接转发至代理,而非全局代理。 正如他的名字“代理链”,当我们的代理够多时,它甚至可以随机构成长串的“链”,能够更好的保护我们的隐私、更难被反向追踪到。当然被追踪到也不是完全没有可能,因此不建议用其参与违法犯罪活动。 配置我这里演示是使用的Kali,因为其自带proxychains工具。如果是Ubuntu也可以直接安装: 1apt-get install proxychains 首先我们需要找到其配置文件(有可能会有不同) 1locate proxychains 切到root进行编辑 1vim /etc/proxychains4.conf ...
数据结构--链表入门超详细解析(简单易懂纯原篇)
链表的基础概念这里就不讲了,随便一个搜索引擎就能找到无数答案,我这里想讲点别人不会讲的东西,以及尝试如何让一窍不通于链表的同学快速理解和入门。 此处我们使用C进行演示 结点的创建我们知道链表是由一个个结点串联而成的,而每个结点分为两块区域,一块是数据域,相当于数组中存储的那个数据;另一块是指针域,这里存放的是指向下一个结点的地址。在链表遍历的过程中,我们根据前一个结点的指针域中的那个地址找到下一个结点,就这样一个接一个往下遍历,进行增删改查等一系列基础操作。 知道了结点的基础结构就可以来进行创建了。 123456typedef struct lint{ // 数据域 int score; // 指针域 struct lint* next; // 因为next是指向结点的,因此也要是结点的类型}Lint; 这里使用typedef是为了重命名,省的以后创建指针时还要连带着 struct lint*。之后创建指针就可以直接Lint* p而不是struct lint*...
Vulnhub内网渗透DC-5靶场通关
DC系列共9个靶场,本次来试玩一下一个 DC-5,只有一个flag,下载地址。下载下来后是 .ova 格式,建议使用vitualbox进行搭建,vmware可能存在兼容性问题。靶场推荐使用NAT(共享)模式,桥接模式可能会造成目标过多不易识别。 IPDC-5: 192.168.31.107Kali: 192.168.31.18Win7: 192.168.31.168 信息搜集首先是主机发现,得到靶机ip 1arp-scan -l 对其进行端口扫描,开放了80、111、43799端口 御剑扫一下 80端口上去看看,有一个contact板块可以交互,其他都是静态文本。contact提交后会跳转到thankyou.php 渗透过程因为前面扫出了footer.php ,访问一下看看,是页脚的copyrights。并且发现刷新后会发生改变 怀疑是某个网页包含了这个footer.php , 访问前面扫出来的各个php网页,发现thankyou.php里的页脚也会发生改变,判断这个页面存在文件包含。 利用burp爆破参数名,是...
docker初探和基础搭建
docker中文 Docker 是什么? docker是一个开源的软件部署解决方案; docker也是轻量级的应用容器框架; docker可以打包、发布、运行任何的应用。 在我的粗浅理解中,docker就像是一个虚拟机,和vm、pd、vb间类似但又有很大的不同。它更适合于集群式的部署,例如同时部署在成百上千的服务器上,这是普通虚拟机软件所无法做到的。同时它又是一个极其轻量化的“虚拟机”,占用的资源很小,很适合部署在服务器上。另外它还有很强的可移植性、可操作性、自定义权限。 Docker 的一些基础概念下面画一张图供大家更好的理解: 镜像:类似于虚拟机的iso、ova、vmk镜像 容器:可以看做是一个一个开启的虚拟机,相互独立,但可以通过volumns共享宿主机的一块存储 仓库:是一个大型的镜像库,里面有各种镜像,要使用的时候直接pull拉取下来即可使用。当然也可以将自己的镜像上传上去 Dockerfile:是用来构建镜像的构建文件,是由一系列命令和参数组成的构建脚本。 tar文件:可以将镜像打包成tar文件便于在其他地方传播 Docker 基本命令 docker...
Billu_b0x2内网渗透(多种提权方法)靶场-vulnhub
本次来试玩一下vulnhub上的Billu_b0x2,下载地址。下载下来后是 .ova 格式,建议使用vitualbox进行搭建,vmware可能存在兼容性问题。靶场推荐使用NAT(共享)模式,桥接模式可能会造成目标过多不易识别。 IPwin7: 192.168.31.44kali: 192.168.31.17靶机: 192.168.31.132 信息搜集主机发现得到靶机ip,接着进行端口扫描 1nmap -sV -A -p- 192.168.31.132 开放了22, 80, 111, 8080, 55532端口80端口还扫出了部分目录。 网页登上去看一眼出了一个搜索框和login其他没有什么要素了。接着御剑扫一下,扫出了80端口下的robots.txt,根据其中的提示进行文件遍历,web.config并没有有用的信息,最终在README.txt中找到/core/install.php,告诉我们具体的CMS版本号是Drupal 8.3.58080端口有一个/manager的401登录 渗透过程由于看到了login,...
vps实现私人代码托管并用nginx部署hexo
原本我的博客是通过github pages搭建的,但由于一些众所周知的原因,即使套上了CDN依旧是访问状态令人堪忧,经常会造成各种各样的问题,并且由于不存在服务器也不好进行进一步的管理,更不好完成公安备案。因此现在尝试在不影响博客更新部署体验的前提下,利用git搭建一个私人的代码托管平台,并自动化更新新提交的博客更新内容。 整体思路: 1 在云服务器上建立私人git服务器并配置本地仓库 2 在配置文件中设置push到云服务器上的私人仓库。 3 仓库中设置git钩子将已上传的静态资源拷贝到自定义目录下 4 通过nginx部署web服务,配置静态资源访问目录到自定义目录。 5 打包上传hexo静态文件并上传到服务器上的私人仓库 演示vps:CentOS 7 步骤一:建立私人git服务器连接上vps,我这里就在/home下做演示。 1234$ yum install git # 如果没有安装过git的话需要进行这一步$ mkdir /home/blog.git$ cd blog.git$ git init --bare #...









