干货丨Orca: 基于DolphinDB的分布式pandas接口 Orca项目在DolphinDB之上实现了pandas API,使用户能更高效地分析处理海量数据。如果你已经熟悉pandas,你就能通过Orca包,充分利用DolphinDB的高性能和并发,处理海量数...... 来源:互联网 | 分类:数据库
干货丨解析Orca对DolphinDB分布式表的操作 DolphinDB是一个分布式时序数据库,并且内置了丰富的计算和分析功能。它可以将TB级的海量数据存储在多台物理机器上,充分利用CPU,对海量数据进行高性能分析计算。通过Orca,我们可以在pytho...... 来源:互联网 | 分类:数据库
分布式系统原理(8)-- 基于MVCC的分布式事务 实现分布式事务除了使用类似“两阶段提交”协议等方式外,另一种简单有效的方式使用MVCC(Multi-version Cocurrent Control,多版本并发控制)技术,最初也是在数据库系统...... 来源:互联网 | 分类:数据库
Mongodb亿级数据量的性能测试 进行了一下Mongodb亿级数据量的性能测试,分别测试如下几个项目: (所有插入都是单线程进行,所有读取都是多线程进行) 1) 普通插入性能 (插入的数据每条大约在1KB左右) 2) 批量插入性能 (...... 来源:互联网 | 分类:数据库
mysql sql 百万级数据库优化方案 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使...... 来源:互联网 | 分类:数据库
SQL重复记录查询(转载) ,及对大数据量的重复数据优化 1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断select * from peoplewhere peopleId in (select peopleId from pe...... 来源:互联网 | 分类:数据库
十亿级数据ES搜索怎么优化? 目录面试题面试官心理分析面试题剖析性能优化的杀手锏——FileSystem Cache数据预热冷热分离document 模型设计分页性能优化 面试题 es 在数据量很大的情况下(数十亿级别)如何提高查...... 来源:互联网 | 分类:数据库
用mysql表分区来优化大数据量的表 根据公司数据库实际情况,订单表有可能会比预想中扩张速度快,这里可能需要预先准备下优化方案,传统方案是分表或者分库,不过目前最好的方案是使用mysql的表分区来优化。不过需要注意的是在表分区建立后mys...... 来源:互联网 | 分类:数据库
postgreSql千万级的数据量怎么备份 Postgresql提供了3种备份方式。 1.pg_dump. 2.File system level backup. 3.Continuous archiving. 数据量不大时用第一种方法。第二种...... 来源:互联网 | 分类:数据库
视图简介应用场景入门使用 转自https://askdb.blog.163.com/blog/static/215683163201322711754198/Hi,everybody这里来介绍另一类可以显示数据逻辑子...... 来源:互联网 | 分类:数据库
关于Docker的八个疑问 谷歌对Docker的公开支持让Docker(《谷歌拥抱开源技术Docker 意图推动云计算革命》)一时间成为热门话题,本文中,我们将向你介绍这种技术是什么,以及它对你企业的作用。问题1:它是什么?Do...... 来源:互联网 | 分类:数据库
BloomFilter的原理与应用 原理Bloom filter是一种hash算法,可以认为该算法的目的是高效地判断某个元素是否在一个特定集合中。该算法涉及到三种数据类型: -- 数据集合S -- 一个数组,该数组的元素类型...... 来源:互联网 | 分类:数据库
mongo MapReduce例子 https://my.oschina.net/huzorro/blog/75210 这篇也写的很好第八章 MapReduce MongoDB的MapReduce相当于Mysql中的"group by",...... 来源:互联网 | 分类:数据库
mapreduce应用开发 一:用于配置的apihadoop中的组件是通过hadoop自己的配置api来配置的。一个Configurate类的实例代表配置属性及其取值的一个集合。Configurate从资源配置文件中对取属性值。...... 来源:互联网 | 分类:数据库
mysql时间比较 假设endTime="2011-01-27 15:52:11", 求出当前时间与结束时间的结果. (以秒为单位.) SELECT TIMESTAMPDIFF(SECOND, now(), '2011-...... 来源:互联网 | 分类:数据库
用一个sql将表中的字段按固定分隔符分割开来 自己用的时候写的,功能有很多局限性,不能通用,不过是一个解决问题的方法而已,希望有通用的方法能共享下...... 来源:互联网 | 分类:数据库
连表查询_子表字段用逗号分隔 <!--StartFragment --> 需求: SQL: <!--StartFragment --> select a.className, group_concat...... 来源:互联网 | 分类:数据库
【解决】Python数据保存为csv再读取后部分数据的格式被更改 今天写代码的时候偶然发现数据经过保存后再读取数据,一些包含纯数字的字符串类型的数据会修改部分数据的数据类型,如下: 这是一开始读取出来的数据,全部都是字符串在经过保存后重新读取数据,会发现部分字符串类...... 来源:互联网 | 分类:数据库
mysql 字串号以逗号分隔,分隔后第个字符加单引号,然后再拼接起来,字符间用逗号 select channel from tb_user where id='1'; 得到以下结果 +-----------+ | channel | +-----------+ | 4,5,6,7,8...... 来源:互联网 | 分类:数据库
ORACLE统计一个字符串中的逗号 参考论坛:https://rj0801zxh.iteye.com/admin/blogs/newSELECT LENGTH(T1.INVESTIGATOR_ID) - LENGTH(REPL...... 来源:互联网 | 分类:数据库