python统计大文件内容行数

代码如下:fp.read()中限定了字节数目,然后以一个循环统计出整体的行数。   def lines_tj(filename): count = 0 with open(filename, "r", encoding='utf-8') as fp: while 1: buffer = fp.read(8*1024*1024) if not buffer: break count += buffer.count('\n') return coun […]

lvm修改根分区大小

首先,要可以进入rescue模式。 然后进去之后 1.查询pv,vg,lv依次输入以下命令: lvm pvscan vgscan lvscan exit 2.缩小分区: <1>.检查要缩小的分区: e2fsck -f /dev/vg_db/lv_root <2>.缩小文件系统大小: resize2fs /dev/vg_db/lv_root 10G <3>.缩小逻辑卷(输入完成后会有提示,输入y即可): lvm lvred […]

python3 多线程下载

代码: def Handler(start, end, url, filename): headers = {'Range': 'bytes=%d-%d' % (start, end)} with requests.get(url, headers=headers,stream=True) as r: with open(filename, "r+b") as fp: fp.seek(start) var = fp.tell() fp.write(r.co […]

爬去mm131中的一个分类到WordPress

本脚本只支持python3,需要将系统语言设置成utf8 演示站:https://luoli.se 需要安装的库 pip3 install pymysql pip3 install requests 关于使用 需要打开脚本文件设置连接的mysql信息,在代码第10行 还有要修改第25行的图床key,和图床url,只支持chevereto 已知BUG 1.下载后会在temp生成下载图片,不过并不会移除旧的图片(会直接替换),可能代码逻辑有问题,但不影响使用 […]

Pornhub爬虫

这几天写爬虫上瘾了。。 首先,还是仅支持python3 开源地址Github:https://github.com/eqblog/pornhub- 其次,需要以下库: pip3 install requests pip3 install lxml pip3 install bs4 使用方法(示例): 视频爬虫使用: python3 pornhub_spider.py [分类] [清晰度] 例如: python3 pornhub_spider.py 111 […]

这几天的爬虫开源

建议将系统设置为UTF8编码 export LANG=en_US.UTF-8 91视频解析:https://github.com/eqblog/91_porn_video_url 91视频爬虫:https://github.com/eqblog/91_porn_spider 1024图片爬虫:https://github.com/eqblog/1024_img_spider_threads mm131图片爬虫:https://github.com/eqbl […]