做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。建数据表：CREATETABLE`testtable`(2`id`int(11)unsignedNOTNULLAUTO_INCREMENT,3`name`varchar(20)NOTNUL
系统 2019-09-27 17:56:10 2240
直接送上代码importurllib.requestimportjsonimportjsonpathimporttimeend_page=int(input('请输入爬取的结束页码:'))foriinrange(0,end_page+1):print('第%s页开始爬取------'%(i+1))url='https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_c
系统 2019-09-27 17:54:07 2240
JSON是一种轻量级的数据交换格式，各种语言都有良好的支持。字典是Python的一种数据结构。可以看成关联数组。有些时候我们需要设计到字典转换成JSON序列化到文件，或者从文件中读取JSON。简单备忘一下。Dict转JSON写入文件复制代码代码如下:#!/usr/bin/envpython#coding=utf-8importjsond={'first':'One','second':2}json.dump(d,open('/tmp/result.txt'
系统 2019-09-27 17:52:57 2240
1、前期准备通过pip或easy_install安装了pymongo之后,就能通过Python调教mongodb了.接着安装个flask用来当web服务器.当然mongo也是得安装的.对于Ubuntu用户,特别是使用Server12.04的同学,安装最新版要略费些周折,具体说是sudoapt-keyadv--keyserverhkp://keyserver.ubuntu.com:80--recv7F0CEB10echo'debhttp://download
系统 2019-09-27 17:52:29 2240
关于Python3进度打卡文章目录关于Python3进度打卡第一天——9.4一、安装环境变量二、关于编辑三、基本介绍第二天——9.5一、基本数据类型二、基本语句三、编程实践第三天——9.7一、制作贪吃蛇游戏的准备二、需求及算法分析三、代码实现四、一些全局参数的初始化五、关于贪吃蛇及食物的位置六、关于贪吃蛇的上下左右移动七、判断能否迟到食物八、绘制贪吃蛇、食物的函数九、贪吃蛇的逻辑调用十、主逻辑层判断游戏是否结束第一天——9.4一、安装环境变量1、首先访问h
系统 2019-09-27 17:50:31 2240
目录一、引言1.1可变or不可变二、拷贝三、浅拷贝三、深拷贝一、引言在python中，对象赋值实际上是对象的引用。当创建一个对象，然后把它赋给另一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用针对该列表l1=['a'，'b'，'c'，['d'，'e'，'f']]一般有三种方法，分别为：拷贝（赋值）、浅拷贝、深拷贝注意：拷贝/浅拷贝/深拷贝都是针对可变类型数据而言的1.1可变or不可变id不变值可变，即在原值的基础上修改，则为可变数
系统 2019-09-27 17:49:51 2240
LogisticRegressionClassifier逻辑回归主要思想就是用最大似然概率方法构建出方程，为最大化方程，利用牛顿梯度上升求解方程参数。优点：计算代价不高，易于理解和实现。缺点：容易欠拟合，分类精度可能不高。使用数据类型：数值型和标称型数据。介绍逻辑回归之前，我们先看一问题，有个黑箱，里面有白球和黑球，如何判断它们的比例。我们从里面抓3个球，2个黑球，1个白球。这时候，有人就直接得出了黑球67%，白球占比33%。这个时候，其实这个人使用了最大
系统 2019-09-27 17:49:29 2240
一、python不同环境下运行1、python外部传参引入sys包通过sys.arg[i]获取到对应参数2、python在DOS运行需要加入引用包路径sys.path.append("D:/python/lib")3.shell和bat脚本运行python文件（1）bat文件pythonhello.py%1%2默认有传参数限制，需要用其他方式来获取更多参数（2）shell脚本pythonhello.py$1$2无传参数限制二、应用python生成并写入xm
系统 2019-09-27 17:48:57 2240
声明：本文所使用方法为老猿自行研究并编码，相关代码版权为老猿所有，禁止转载文章，代码禁止用于商业用途！在《第11.23节Python中re模块的搜索替换功能：sub及subn函数》介绍了re.sub函数，其中的替换内容可以是一个函数，利用该功能我们可以展示正则表达式匹配过程中匹配到的目标子串的匹配顺序、匹配文本的内容和匹配文本在搜索文本中的位置。具体实现如下：importrematchcount=0defparsematch(patstr,text):gl
系统 2019-09-27 17:48:49 2240
希尔排序思想：算法先将要排序的一组数按某个增量d分成若干组，每组中记录的下标相差d.对每组中全部元素进行排序，然后再用一个较小的增量对它进行，在每组中再进行排序。当增量减到1时，整个要排序的数被分成一组，排序完成。一般的初次取序列的一半为增量，以后每次减半，直到增量为1。defshell_sort(list):n=len(list)gap=n//2new_list=[]whilegap>1:foriinrange(gap):iflist[i]>list[i
系统 2019-09-27 17:48:16 2240
