1 压缩1.1 创建zipfile对象zipfile.ZipFile(file,mode='r',compression=0,allowZip64=True,compresslevel=None)创建Zipfile对象,主要参数:1>file压缩包名称;2>mode:读... ...
内存地址 id()总结:数字类型,字符串类型,元组,变量不同值相同的内存地址是相同的。列表,字典,反之。is 与 == 的区别总结:is 比较的是两个变量的内存地址== 比较两个变量的值s1 = {1:2,3:4}s2 = {1:2,3:4}print(s1 == s2) #Tru... ...
写爬虫是一个发送请求,提取数据,清洗数据,存储数据的过程。在这个过程中,不同的数据源返回的数据格式各不相同,有 JSON 格式,有 XML 文档,不过大部分还是 HTML 文档,HTML 经常会混杂有转移字符,这些字符我们需要把它转义成真正的字符。什么是转义字符在 HTML 中<、>、&am... ...
最近在做一些数据处理和计算的工作,因为数据是以.csv格式保存的,因此刚开始直接用Excel来处理。但是做着做着发现重复的劳动其实并没有多大的意义,于是就想着写个小工具帮着处理。以前正好在一本书上看到过使用Python来处理Excel表格,可惜没有仔细看。于是我到处查找资料,基本解决了日常所需,终于算是... ...
【导读】网络爬虫也叫做网络机器人,可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代,信息的采集是一项重要的工作,如果单纯靠人力进行信息采集,不仅低效繁琐,搜集的成本也会提高。此时,我们可以使用网络爬虫对数据信息进行自动采集,比如应用于搜索引擎中对站点进行爬取收录,应用于数据分析与挖掘中... ...
简介#!/usr/bin/env python# -*- coding:utf-8 -*-"""@author:Aiker Zhao@file:cut_media_all.py@time:下午11:35"""import osimport reimport subprocessf... ...
爬虫的基本原理就是模拟客户端(可以是浏览器,也有可能是APP)向远程服务器发送 HTTP 请求,我们需要知道目标服务器的 HOST、URI、请求方法、请求参数、请求头、请求体。Web 网站通过 Chrome 浏览器可以找到这些信息。但是对于 APP 爬虫,就显得有些束手无策。这时候必须借用一些抓包工具来... ...
在实际工作中,我们时不时会有这样的一个需求:将文件传给其他同事。将文件传给同事本身并不是一个很繁琐的工作,现在的聊天工具一般都支持文件传输。但是,如果需要传送的文件较多,那么,操作起来就会比较麻烦。此外,如果文件在远程的服务器上,你要将文件传给同事,则需要先将远程服务器的文件下载到本地,然后再通过聊天工... ...
1、冒泡排序2、计算x的n次方的方法3、计算a*a + b*b + c*c + ……4、计算阶乘 n!5、列出当前目录下的所有文件和目录名6、把一个list中所有的字符串变成小写:7、输出某个路径下的所有文件和文件夹的路径8、输出某个路径及其子目录下的所有文件路径9、输出某个路径及其子目录下所有以.ht... ...
paramikoparamiko是一个用于做远程控制的模块,使用该模块可以对远程服务器进行命令或文件操作,值得一说的是,fabric和ansible内部的远程管理就是使用的paramiko来现实。安装pip install paramiko模块使用执行命令—用户名+密码#!/usr/bin/... ...
这一讲,我将会为大家讲解稍微复杂一点的爬虫,即动态网页的爬虫。动态网页技术介绍动态网页爬虫技术一之API请求法动态网页爬虫技术二之模拟浏览器法 安装selenium模块下载 Google Chrome Driver安装 ChromeDriver以某宝某只松鼠店铺... ...
如何用对象继承来减少量化策略代码量在真格量化的API文档里我们经常遇到“bal.CashBalance”、“order.id”这类看起来非常诡异的变量写法。这都是些什么东西呢?这得从“面向对象”(Object Oriented)的编程思想说起。首先,”对象“可以是我们想研究的任何事物,从一个自然... ...
写这篇文章源自上次和一位读者的交流,在给他回答问题的时候我发现由于之前有学习 C 和 Java 这种静态编译类型语言的背景,使他在学习 Python 的时候还是会习惯用之前编程语言的思考去尝试理解 Python,导致他有时候会觉得很困惑,这个直接表现在他对于很多概念的理解很混乱。比如在 Python 中... ...
os模块是一个功能强大模块,主要提供操作系统相关功能接口,例如:文件目录操作,进程相关操作,执行系统命令,解析环境变量等。使用os模块,我们首先要导入:import os下面我们对这些功能逐一介绍。1:目录相关操作:目录相关常用操作如下表:方法说明os.getcwd()获取... ...
字典 dict可变的、无序的、key不重复,key可哈希定义方式d1 = dict()d1 = {}d1 = {1:1,'2':2,'a':[3,4]}d1 = dict([1,2),['a',300],{10,2}]) 必须是二元,{}key碰机会d1 = dict(a=1,b=2,c=3)d2... ...
您是否需要为了写个简单的策略就死磕半本 C++ Primer 呢?我们已经了解了中国期货交易所与投资者之间通讯模式,在这种模式下一个高效的量化交易系统应当采用“事件驱动”式设计,即系统需要订阅行情并监听各种“事件”(或者“消息”,比如成交回报或账户的资金状况等)并作出相应的响应。在事件驱动的设计模... ...
前言由于一些论坛不登录验证,就不能查看帖子的内容和附件,所以需要登录验证,如果在代码中添加登录验证,那就增加了代码的复杂度,所以可以结合cookie来登录然后爬取需要的资料cookie的获取#!/usr/bin/env python# -*- coding:utf-8 -*-"""@aut... ...
安装jieba库教程jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式、全模式和搜索引擎模式,下面是三种模式的特点。精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据搜索引... ...
python重启for循环,使其重新开始遍历方法使用break语句跟while语句的结合,加入一个布尔值的判定,当满足一定条件是,布尔值变为True,并且用break语句跳出循环 ,执行while语句的命令,重启循环。上代码!!!#布尔值初始值为Truerestart=Truewhileresta... ...
PyMysql使用详解在编写小脚本时,PyMysql是快速连接并操作数据库的一个不错选择。安装pip3installPyMysql#可使用piplist查看此环境安装了哪些第三方库piplist|grepPyMysql使用importpymysql连接数据库使用connect函数创建连接对象,此连接对... ...