执行datax作业,创建执行文件,在crontab中每天1点(下面有关系)执行:其中job_start及job_finish这两行记录是自己添加的,为了方便识别出哪张表。#!/bin/bashsource/etc/profileuser1="root"pass1="pwd"user2="root"pass2="pwd"job_path="/opt/datax/job/"jobfile=(job_table_a.jsonjob_table_b.json)fo
系统 2019-09-27 17:54:45 2541
我们在python爬虫写脚本时,往往会遇到些问题,小编前几天也遇到了个小问题。在这里想跟大家分享下,以免大家走更多的弯路列如我要去有道翻译,去爬取我们自己所翻译的东西。importurllib.requestimporturllib.parseurl='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'headers={"User-Agent":"Mozilla/5.0(
系统 2019-09-27 17:52:36 2541
有的时候需要将两组数据,比如特征和标签放在一起随机打乱,但是又想记录这种打乱的顺序,那么该怎么做呢?下面是一个很好的方法:b=[1,2,3,4,5,6,7,8,9]a=['a','b','c','d','e','f','g','h','i']c=list(zip(a,b))print(c)random.Random(100).shuffle(c)print(c)a,b=zip(*c)print(a)print(b)输出:[('a',1),('b',2),(
系统 2019-09-27 17:52:33 2541
进程之间共享数据(数值型):importmultiprocessingdeffunc(num):num.value=10.78#子进程改变数值的值,主进程跟着改变if__name__=="__main__":num=multiprocessing.Value("d",10.0)#d表示数值,主进程与子进程共享这个value。(主进程与子进程都是用的同一个value)print(num.value)p=multiprocessing.Process(targ
系统 2019-09-27 17:51:28 2541
wxPython是Python语言的一套优秀的GUI图形库。允许Python程序员很方便的创建完整的、功能键全的GUI用户界面。wxPython是作为优秀的跨平台GUI库wxWidgets的Python封装和Python模块的方式提供给用户的。只要介绍了如何利用wxPython实现吗按钮和对按钮的监听,并且改变了按钮的字体和颜色。python代码如下:#-*-coding:utf-8-*-importwxclassFrame(wx.Frame):def__
系统 2019-09-27 17:50:32 2541
使用Python进行项目开发时,由于不同的项目需要,可能会配置多个开发环境,不同开发环境之间的项目依赖包如果混合在一起,可能会引起意想不到的错误,本文主要介绍如何通过虚拟环境隔离不同开发环境,方便不同开发环境的共存。安装Python,本文以Python3.4为例。关于如何安装Python3.4,请参考其他经验,本文不在重复赘述。注意:将安装目录添加到环境变量中,否则无法在其他目录启动python。安装成功后截图如下所示:进入Python安装目录中的脚本目录
系统 2019-09-27 17:49:21 2541
阅读更多图像识别、文字识别,这些都是现在比较火的东西,现在大部分的AI都有在做这些东西,那我们就过来了解一下吧!只需要四行代码,完成从图片中读取图片中的文字!准备工作:我们需要两个安装包,先来安装一下:pipinstallpillowpipinstallpytesseract安装完之后,我们需要下载Tesseract-OCR这个软件,这里我已经将东西都打包好了放在百度云中,大家可以直接下载:链接:https://pan.baidu.com/s/1osNf9
系统 2019-09-27 17:48:24 2541
既然要写代码,肯定少不了数据的操作,所以先来总结对比下不同语言的基本数据类型。c/c++、java、go、python的基本类型都有所差别,不过大部分常用的数据类型都是相同的,下面先讲常用的且相同的基本数据类型。基本类型|------数值型|-----整形(int)|-----双精度型(double)|-----字符型(char)|-----布尔型(boolean)需要注意的是,c中没有布尔类型,下面会进行讲解。下面分别看下5种语言对这4种数据类型的写法c
系统 2019-09-27 17:48:14 2541
Python中的时间处理包datetime和arrow在获取贝壳分的时候用到了时间处理函数,想要获取上个月时间包括年、月、日等#方法一:today=datetime.date.today()#1.获取「今天」first=today.replace(day=1)#2.获取当前月的第一天last_month=first-datetime.timedelta(days=1)#3.减一天,得到上个月的最后一天print(last_month.strftime("%
系统 2019-09-27 17:47:23 2541
前言因近期进行时间序列分析时遇到了数据预处理中的缺失值处理问题,其中日期缺失和填充在网上没有找到较好较全资料,耗费了我一晚上工作时间,所以下面我对这次时间序列缺失值处理学习做了以下小结以供之后同行们参考指正。时间序列缺失值处理一、编程前准备收集时间序列数据,相信看这篇博客的各位已经完成了这步。需要安装pandas模块,并利用Python的Lib文件夹自带的datetime库(当时我因为在Pycharm环境中没看到datetime模块又去安装了DateTim
系统 2019-09-27 17:46:41 2541