这节我们主要讲讲我的游戏交易数据分析项目的ETL(数据抽取、加载、转换)具体是怎么做的。先来讲下源系统吧,因为我们的交易主站的服务器不是架在公司的,因此不能直接从源系统直接抽取数据了。事实上我们已经存在一个简单的数据分析系统了,只不过这个是以前人家做的,没有采用sqlserver2005的BI平台来做,而是直接写winform程序来弄的。原来的数据抽取是主站那边提供导出的excel文件过来,然后到我们这边,导入到我们的分析库中去。好了,为了简便,事实上我只
系统 2019-08-12 01:33:11 2377
公司内设备管理系统中设备建账功能,功能目的是对新进设备进行记录并入库。其中设备编号一项定义为自己修改(查看之前的设备号,取一个不重复的值来填写),感觉特别麻烦!用存储过程自动生成编码岂不是更效率。需求:根据设备组代码(PC)+递增数字,构成编码,编码中数字必须为三位数,无三位数的,以‘0’占位。代码如下:1--测试数据库准备2usemaster3go4ifexists(select*fromdbo.sysdatabaseswherename='hzf')5
系统 2019-08-12 01:32:47 2377
上一次说到通过管道把接收到的HTTP数据通知另一个线程处理,它不是直接发送数据过去,而是把数据在共享内存里的句柄发送过去,达到高效通讯的目的。下面就来分析资源处理进程里,接收到这个消息之后,做些什么处理。这个消息的处理代码如下:#001voidResourceDispatcher::OnReceivedData(intrequest_id,#002SharedMemoryHandleshm_handle,#003intdata_len){#004//Ack
系统 2019-08-12 01:32:42 2377
数组遍历方式1:int[]arr=newint[3];for(intx=0;x<3;x++){System.out.println("arr["+x+"]="+arr[x]+";");}arr[0]=0;arr[1]=0;arr[2]=0;数组遍历方式2:int[]arr=newint[]{1,2,5,24,62,6,1353,6546456};for(intx=0;x<8;x++)//for(intx=0;x
系统 2019-08-12 01:32:21 2377
原文:SSMS2008插件开发(1)--介绍SSMS2008就是MicrosoftSqlServerManagementStudio2008的简称。许多人叫做SQL2008或SQLSERVER2008是不准确的。SSMS是一个操作、管理SQL或SQLSERVER的UI工具。SSMS插件(SSMSadd-in)是扩展SSMS功能的组件,比较著名的有SSMSToolsPack、SQLPrompt、SQLPrettyPrinter等。这些工具无一例外的让我们更加
系统 2019-08-12 01:31:59 2377
王昱yuwang881@gmail.com博客地址http://yuwang881.blog.sohu.com摘要:单点登录(SSO)的技术被越来越广泛地运用到各个领域的软件系统其中。本文从业务的角度分析了单点登录的需求和应用领域;从技术本身的角度分析了单点登录技术的内部机制和实现手段,而且给出Web-SSO和桌面SSO的实现、源码和具体解说;还从安全和性能的角度对现有的实现技术进行进一步分析,指出对应的风险和须要改进的方面。本文除了从多个方面和角度给出了
系统 2019-08-12 01:31:52 2377
摘要数据分析与建模的时候大部分时间在数据准备上,包括对数据的加载、清理、转换以及重塑。pandas提供了一组高级的、灵活的、高效的核心函数,能够轻松的将数据规整化。这节主要对pandas合并数据集的merge函数进行详解。(用过SQL或其他关系型数据库的可能会对这个方法比较熟悉。)码字不易,喜欢请点赞!!!1.merge函数的参数一览表2.创建两个DataFrame3.pd.merge()方法设置连接字段。默认参数how是inner内连接,并且会按照相同的
系统 2019-09-27 17:56:16 2376
简介许仙小时候最喜欢吃又甜又软的汤圆了,一次一颗汤圆落入西湖,被一条小白蛇衔走了。十几年后,一位身着白衣、有青衣丫鬟相伴的美丽女子与许仙相识了,她叫白娘子。白娘子聪明又善良,两个人很快走到了一起。靠着自己的力量,他们过上了幸福的生活。一天,僧人法海找到许仙,警告说白娘子是一条修行千年的蛇精,许仙不信。到了端午节,勉强喝下了雄黄酒的白娘子现了原形,许仙被吓得昏死过去。原来白娘子真的是之前吃下许仙汤圆的小蛇。白娘子辛苦救回了许仙的性命,但之后法海却以保护许仙的
系统 2019-09-27 17:55:59 2376
Python3标准库操作系统接口os模块提供了不少与操作系统相关联的函数。>>>importos>>>os.getcwd()#返回当前的工作目录'C:\\Python34'>>>os.chdir('/server/accesslogs')#修改当前的工作目录>>>os.system('mkdirtoday')#执行系统命令mkdir0建议使用"importos"风格而非"fromosimport*"。这样可以保证随操作系统不同而有所变化的os.open()
系统 2019-09-27 17:49:47 2376
解决乱码最好的方法是在项目设计之初,统一所有的字符集,例如页面、request对象以及数据库等等。一、几种常见的乱码现象:1、页面乱码单纯的页面乱码是很好解决的,只要修改头部适合的字符集即可,如果页面中文显示乱码,你可以把字符集修改为:gb2312或gbk。2、页面之间传递的参数是乱码页面之间传递参数出现的乱码,就要解决页面编码和requset的字符集问题,在参数传进传出时重新设置相应的字符集。比如:request.setCharacterEncoding
系统 2019-08-29 23:49:36 2376