原文:《BI项目笔记》增量ETL数据抽取的策略及方法增量抽取增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删
系统 2019-08-12 01:32:01 2053
前言文件和目录操作是很常见的功能，这里做个简单的总结，包括注意事项和实际的实现代码，基本日常开发都够用了目录操作判断目录或是文件是否存在os.path.exists(path)判断是否是文件或是目录#如果文件或是目录不存在也会返回Falseos.path.isfile(path)os.path.isdir(path)创建/删除目录os.mkdir(path)os.rmdir(path)得到当前的目录名称os.path.split(dir_path)[1]这
系统 2019-09-27 17:57:44 2052
官方文档解释：轴用来为超过一维的数组定义的属性，二维数据拥有两个轴：第0轴沿着行的垂直往下，第1轴沿着列的方向水平延伸。注意看，官方对于0和1的解释是轴，也就是坐标轴。而坐标轴是有方向的，所以千万不要用行和列的思维去想axis，因为行和列是没有方向的，这样想会在遇到不同的例子时感到困惑。根据官方的说法，1表示横轴，方向从左到右；0表示纵轴，方向从上到下。当axis=1时，数组的变化是横向的，而体现出来的是列的增加或者减少。其实axis的重点在于方向，而不是
系统 2019-09-27 17:56:03 2052
什么是pyecharts？pyecharts是一个用于生成Echarts图表的类库。echarts是百度开源的一个数据可视化JS库，主要用于数据可视化。pyecharts是一个用于生成Echarts图表的类库。实际上就是Echarts与Python的对接。使用pyecharts可以生成独立的网页，也可以在flask,Django中集成使用。pyecharts包含的图表Bar（柱状图/条形图）Bar3D（3D柱状图）Boxplot（箱形图）EffectSca
系统 2019-09-27 17:55:57 2052
一、if-else判断语句if要判断的条件(True)：条件成立的时候，要做的事情else:条件不成立的时候要做的事示例：二、if-elif-else判断语句if要判断的条件(True)：条件成立的时候，要做的事情elif要判断的条件(True)：...else:条件不成立的时候要做的事三、判断用户的输入是否为空【方式1】ifvalue=='':值为空时要做的事情【方式2】ifnotvalue:值为空时要做的事情四、例题1、判断闰年要求：用户输入年份yea
系统 2019-09-27 17:55:27 2052
python常用导入函数及其他操作备忘录python常用导入函数解压缩zip并读取csv文件查看缺失值权重系数取绝对值后排序（查看特征权重重要度）python常用导入函数fromIPython.displayimportdisplayimportnumpyasnpimportpandasaspdfrompandasimportSeries,DataFramefromPILimportImageimportmatplotlib.pyplotasplt%mat
系统 2019-09-27 17:55:18 2052
文章目录python常用数据存储方法txtjsoncsvmsyql安装pymysql连接建库建表插入删除修改查询mongodb安装连接建库建文档增删改查redis安装连接操作公用方法字符串列表集合有序集合散列其他sqlalchemypostgresqlmysqloracleMicrosoftSQLServersqlitepython常用数据存储方法txtwithopen('test.txt','w',encoding='utf8')asf:f.write(
系统 2019-09-27 17:54:52 2052
Python中转义字符正则表达式使用反斜杠”\“来代表特殊形式或用作转义字符，这里跟Python的语法冲突，因此，Python用”\\\\“表示正则表达式中的”\“，因为正则表达式中如果要匹配”\“，需要用\来转义，变成”\\“，而Python语法中又需要对字符串中每一个\进行转义，所以就变成了”\\\\“。上面的写法是不是觉得很麻烦，为了使正则表达式具有更好的可读性，Python特别设计了原始字符串(rawstring)，需要提醒你的是，在写文件路径的时
系统 2019-09-27 17:53:42 2052
程序异常崩溃时会提供非常详细的错误信息，掌握正确的分析方法，就可以快速定位问题并解决问题，下面这段代码会引发异常导致程序终止deffunc_tet():func_sum('4',3)deffunc_sum(a,b):value=a+breturnvaluefunc_tet()运行这段程序，异常信息如下我将异常信息分为两部分，分析时，先关注最后一行绿色框内的信息，这里的信息明确的指明了异常的类型和异常的解释信息，这是我们分析问题的第一步，随着经验的积累，你很
系统 2019-09-27 17:52:03 2052
前言Martin(Bob大叔)曾在《代码整洁之道》一书打趣地说：当你的代码在做CodeReview时，审查者要是愤怒地吼道：“Whatthefuckisthisshit?”“Dude,Whatthefuck！”等言辞激烈的词语时，那说明你写的代码是BadCode，如果审查者只是漫不经心的吐出几个“Whatthefuck?”，那说明你写的是GoodCode。衡量代码质量的唯一标准就是每分钟骂出“WTF”的频率。一份优雅、干净、整洁的代码通常自带文档和注释属性
系统 2019-09-27 17:50:58 2052
