之前想爬取一些淘宝的数据，后来发现需要登录，找了很多的资料，有个使用request的sessions加上cookie来登录的，cookie的获取在登录后使用开发者工具可以找到。不过这个登录后获得的网页的代码是静态的，获取动态网页还得另寻他法，一般需要的数据可以在网页的源码中得到，但是你知道的，有些动态加载的就不是那么简单了，而且我发现这样获得的源码中，有些想要获取的数据的格式是经过改动的，比如我要某个商品的具体链接，发现并不能直接使用。总体而言，这是一次失
系统 2019-09-27 17:54:47 1695
#!/usr/bin/python#coding:utf-8importnumpyasnpa=np.array([1,2,3])b=np.array([[1,2,3],[4,5,6],[7,8,9]])#shape是维度，dtype是元素的类型printa.shapeprinta.dtype#使用函数生成等差数列数组x1=np.arange(1,11,2)x2=np.linspace(1,9,5)printx1,x2#求数组中的最大值和最小值printnp
系统 2019-09-27 17:54:45 1695
一些讨论Python中使用配置文件的最佳实践Python中使用配置文件的最好方法Python符号常量多种配置文件方案对比我的建议1.排除yamlyaml不是一个好主意，因为需要给项目引入额外的依赖。首先排除它，除非是你的个人项目,或者你的项目已经引入了这个package。2.使用setting.py如果你只是需要配置一些全局的符号常量(symbolicconstants),参考Django的做法，使用setting.py，参见：https://github
系统 2019-09-27 17:54:23 1695
在开始Python编程前，需要先安装Python环境。Python安装包可以到Python的官网下载，官网地址是https://www.python.org/，如果想直接跳过关于Python的介绍相关直接下载安装包，则可以直接访问https://www.python.org/downloads/下载安装包即可。Windows下安装Python要在Windows下安装Python，请按照下面的步骤进行：1、打开Web浏览器，访问https://www.pyt
系统 2019-09-27 17:54:19 1695
【百度云搜索，搜各种资料:http://www.lqkweb.com】【搜网盘，搜各种资料:http://www.swpan.cn】Requests请求Requests请求就是我们在爬虫文件写的Requests()方法，也就是提交一个请求地址，Requests请求是我们自定义的**Requests()方法提交一个请求参数：url=字符串类型url地址callback=回调函数名称method=字符串类型请求方式，如果GET,POSTheaders=字典类型
系统 2019-09-27 17:54:11 1695
今天在写监控脚本的时候遇到一个问题，就是我执行每一个监控模块(脚本)的时候，例如CPU、内存、磁盘脚本，都会返回一个字典格式的数据，但是我需要将这三个字典，组合成一个大字典，然后通过requests模块发送给api接口，so，我就在网上找了一些方法，然后总结，写成这编博文。1、首先定义三个字典(不需要考虑字典的具体内容)>>>cpu_dict={'cpu_count':8,'cpu_ratio':3.5}>>>memory_dict={'memory_co
系统 2019-09-27 17:54:08 1695
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 1695
python的mysqldb安装步骤详解安装MySQLdb：一、什么是MySQLdb？解释：MySQLdb是Python操作MySQL的一个接口包。这里要理解一个概念，python操作数据库，都是需要一个类似MySQLdb这样的中间层，这些中间层抽象了具体的实现，提供了统一的API供开发者使用。二、如何安装MySQLdb？python2环境下：sudopipinstallMySQL-python。MySQL-python目前暂时还不支持python3，有些
系统 2019-09-27 17:54:02 1695
最近在实习，boss给布置了一个python的小任务，学习过程中发现copy（）和deepcopy（）这对好基友实在是有点过分，搞的博主就有点傻傻分不清啊，但是呢本着一探到底的精神，还是要查资料搞清楚这对好基友的区别。其实呢，copy()与deepcopy()之间的区分必须要涉及到python对于数据的存储方式。首先直接上结论：―�C我们寻常意义的复制就是深复制，即将被复制对象完全再复制一遍作为独立的新个体单独存在。所以改变原有被复制对象不会对已经复制出来
系统 2019-09-27 17:53:42 1695
之前了解到itchat乃至于wxpy时是利用tuling聊天机器人的接口。调用接口并保存双方的问答结果可以作为自己的问答词库的一个数据库累计。这些数据可以用于自己训练。而最近希望获取一些语音资源，用于卷积神经网络的训练。。--------------------------------------------------------------------------------首先wxpy是itchat的升级版，通过wxpybot.core即可原封不动的
系统 2019-09-27 17:53:42 1695
