Python

使用python对json串解析

最近在工作中遇到了嵌套多层的json串,不仅包括类似于python字典的嵌套,里面还有数组的嵌套。具体的例子如下,在这里列举了三个例子,其实处理了大约500万条,虽然嵌套也挺多,但相对于专业的爬虫工程师来说,这肯定是小意思而已。这个json串的意思是一个企业所对应的规则,前面是企业的id(因为保密,所以企业id肯定更改了),因为本人是在滴滴,所以对应的规则当然是用车规则了,还是因为保密,所以规则的具体内容也不介绍了,只需要知道json串中的一个键值对对应一

系统 2019-09-27 17:52:16 2283

Python

及Python爬虫探讨

这是作者的系列网络安全自学教程,主要是关于网安工具和实践操作的在线笔记,特分享出来与博友共勉,希望您们喜欢,一起进步。上一篇文章分享了OllyDbg动态分析工具的基础用法,并简单讲解两个Crakeme逆向工程破解实战方法;本篇文章将介绍Chrome浏览器的Network功能,并解析下载快手视频,同时分享了一个Python解析Network链接的难题。希望对初学者有帮助,大神请飘过,谢谢各位看官!下载地址:https://github.com/eastmou

系统 2019-09-27 17:52:06 2283

Python

Python脚本判断 Linux 是否运行在虚拟机上

在WebHostingTalk论坛上有些国外奸商会把虚拟机当作独立服务器卖,去年7月份的时候就有一位中国同胞上当受骗,并在WHT上发帖声讨,证据确凿,甚至连服务商自己也承认,回帖达355篇。这家独立服务器/VPS提供商HostATree.com居然大胆的把OpenVZVPS这种一看就知道是虚拟机的虚拟机当作独立服务器卖,晕,至少也要弄个VMWare/KVM/XenHVM吧(更难发现是虚拟机),用OpenVZ这种容器也太欺负人了:)昨天恰好收到网友一封邮件问

系统 2019-09-27 17:48:43 2283

Python

python实现爬虫抓取小说功能示例【抓取金庸小说】

本文实例讲述了python实现爬虫抓取小说功能。分享给大家供大家参考,具体如下:#-*-coding:utf-8-*-frombs4importBeautifulSoupfromurllibimportrequestimportreimportos,time#访问url,返回html页面defget_html(url):req=request.Request(url)req.add_header('User-Agent','Mozilla/5.0')res

系统 2019-09-27 17:47:40 2283

Python

python字符串排序方法

本文以实例形式简述了Python实现字符串排序的方法,是Python程序设计中一个非常实用的技巧。分享给大家供大家参考之用。具体方法如下:一般情况下,python中对一个字符串排序相当麻烦:一、python中的字符串类型是不允许直接改变元素的。必须先把要排序的字符串放在容器里,如list。二、python中的list容器的sort()函数没返回值。所以在python中对字符串排序往往需要好几行代码。具体实现方法如下:>>>s="string">>>l=li

系统 2019-09-27 17:45:56 2283

Python

python2使用bs4爬取腾讯社招过程解析

目的:获取腾讯社招这个页面的职位名称及超链接职位类别人数地点和发布时间要求:使用bs4进行解析,并把结果以json文件形式存储注意:如果直接把python列表没有序列化为json数组,写入到json文件,会产生中文写不进去到文件,所以要序列化并进行utf-8编码后写入文件。#-*-coding:utf-8-*-importrequestsfrombs4importBeautifulSoupasbsimportjsonurl='https://hr.tenc

系统 2019-09-27 17:57:04 2282

Python

通过PYTHON来实现图像分割详解

程序思路:此次程序主要是利用PIL(PythonImageLibraty)这库,来进行图片的处理。PIL是一个功能非常强大的python图像处理标准库,但由于PIL只支持python2.7。如今很多python程序员都使用python3.x,所以PIL在之前的基础上分离出来一个分支,另外创建一个Pillow库,以便支持python3.x,本程序在使用之前确保已经安装了Pillow库。程序首先把你要分隔的图像读取到一个变量中,然后我们定义了一个fill_im

系统 2019-09-27 17:55:55 2282

Python

Python入门篇之对象类型

Python使用对象模型来存储数据。构造任何类型的值都是一个对象所有的Python对象都拥有三个特性:身份、类型、值身份:每一个对象都有一个唯一的身份来标志自己,任何对象的身份可以使用内建函数id()来得到。这个值可以被认为是该对象的内存地址类型:对象的类型决定了该对象可以保存什么类型的值,可以进行怎样的操作,以及遵循什么样的规则,可以使用内建函数type()查看Python对象的类型:复制代码代码如下:>>>type([1,2])>>>type(24)>

系统 2019-09-27 17:55:13 2282

Python

python调试神器PySnooper的使用

相信很多小伙伴平时写python的时候都是需要调试程序的,出问题了,需要了解函数内部是怎么跑的,而这个时候很多人都会想到在疑惑的地方使用print函数来打印一下参数来调试。虽然用print也是不失为是一种方法,但是有时如果疑惑的地方多就要每个地方都要加print,这样就显得比较麻烦了。今天发现在Github开源了一个神器,可以清楚让你清楚了解函数内部的运行以及参数值的变化,PySnooper,项目地址:https://github.com/cool-RR/

系统 2019-09-27 17:50:04 2282

Python

059 Python计算生态概览

目录一、概要二、导学三、实践能力一、概要从数据处理到人工智能实例15-霍兰德人格分析雷达图从Web解析到网络空间从人机交互到艺术设计实例16-玫瑰花绘制二、导学纵览Python计算生态,看见更大的世界三、实践能力初步编写带有计算生态的复杂程序

系统 2019-09-27 17:49:17 2282

Python

9种python web 程序的部署方式小结

主流的webserver一个巴掌就能数出来,apache,lighttpd,nginx,iisapplication,中文名叫做应用服务,就是你基于某个webframework写的应用代码DBserver泛指存储服务,web开发中用mysql比较多,最近几年因为网站规模扩大,memcache,redis这种key-value等存储也流行开来放在最前面的webserver有3个功能高效率处理静态文件,webserver都是用c开发,调用是native的函数,

系统 2019-09-27 17:48:08 2282

Python

对python中的float除法和整除法的实例详解

从python2.2开始,便有两种除法运算符:"/"、"//"。两者最大区别在:python2.2前的版本和python2.2以后3.0以前的版本的默认情况下,"/"所做的除法是以一种两个数或者多个数出现一个浮点数结果就以浮点数的形式表示,即float除法"//"所做的除法则不相同,"//"不管两者出现任何数,都以整除结果为准,不对小数部分进行处理,直接抛弃,也就是整除法以下是笔者在编译器测试的数据,测试的版本是python2.7关于"/":>>>3/21

系统 2019-09-27 17:48:07 2282

Python

用Python可视化股票指标

用Python可视化股票指标一个完整的量化交易策略指考虑到交易的方方面面,但是能不能赚钱,谁知道呢:)但是一个量化交易可以通过回测系统建立信心然后让其一如既往的运行,以达到让钱生钱的目的,并且是自动的。笔者主要谈纯技术面的量化交易,基本面的一些情况并不好处理及量化,我也暂时没有涉及。量化交易一个完整的量化交易策略,个人觉得应该包含以下两个部分:交易策略资金管理交易策略一个完整的交易策略应该包含何时买,何时卖。到底应该如何买卖,市场上大致分为两个技术流派。趋

系统 2019-09-27 17:46:54 2282

Python

解决Atom安装Hydrogen无法运行python3的问题

Atom是一款功能强大的跨平台编辑器,插件化的解决方案为atom社区的繁荣奠定了基础。任何人都可以把自己做的组件贡献在github上,并能方便的安装到Atom上使用。JupyterNotebook是另一款广受欢迎的交互式笔记本,支持40多种编程语言。Atom上有一款广受欢迎的插件名叫Hydrogen,是用来在Atom上支持Jupyter的运行,有了它,我们就可以摆脱浏览器,回到IDE里愉快的借助Jupyter写代码了!但是,由于现在处于python向pyt

系统 2019-09-27 17:46:06 2282

Python

Python的高级Git库 Gittle

Gittle是一个高级纯pythongit库。构建在dulwich之上,提供了大部分的低层机制。InstallitpipinstallgittleExamples:ClonearepositoryfromgittleimportGittlerepo_path='/tmp/gittle_bare'repo_url='git://github.com/FriendCode/gittle.git'repo=Gittle.clone(repo_url,repo_p

系统 2019-09-27 17:38:20 2282