面对大数据量的优化
0. mysql基础
http://youyu4.iteye.com/admin/blogs/2330441
http://youyu4.iteye.com/admin/blogs/2333291
1. 优化sql和索引
优化sql：
http://youyu4.iteye.com/admin/blogs/2331378
优化索引：
http://youyu4.iteye.com/admin/blogs/2331664
http://youyu4.iteye.com/admin/blogs/2331902
2. 选择合适的存储引擎
http://youyu4.iteye.com/admin/blogs/2332458
http://youyu4.iteye.com/admin/blogs/2333122
3. 加缓存，memcached、redis
4. 主从数据库，读写分离
5. 表分区，用MySQL自带的表分区，但是sql语句是需要针对分区表做优化的，sql条件中要带上分区条件的列，从而使查询定位到少量的分区上，否则就会扫描全部分区。
分区表的坑
6. 垂直拆分，将一个大系统拆分成多个小系统，怎么拆根据模块的耦合度而定，形成分布式系统。
适用场景：主要要看应用类型是否合适这种拆分方式，如系统可以分为，订单系统，商品管理系统，用户管理系统业务系统比较明的，垂直拆分能很好的起到分散数据库压力的作用。
垂直拆分可以将系统拆分，但不一定能解决压力，如果订单系统有2000W条数据，压力还是很大的，所以才需要水平拆分。
7. 水平拆分，针对数据量大的表，拆分成多个小表，也可以将表分别放到不同的server上
参考：
http://blog.csdn.net/iloveyin/article/details/39996831
http://www.zhihu.com/question/19719997
相关推荐
当我们面对大数据量处理时，往往会陷入许多误区； 不良的SQL往往来自于不恰当的索引设计、 不充份的连接条件和不可优化的where子句。 在对它们进行适当的优化后，其运行速度有了明显地提高！ 下面我将从这三个方面...
数据库SQL优化是老生常谈的问题，在面对百万级数据量的分页查询，又有什么好的优化建议呢？下面将列举了一些常用的方法，供大家参考学习！ 方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: ...
大数据分析·原理与实践 10、面对大数据的数据仓库系统 面对大数据的数据仓库系统全文共45页，当前为第1页。 数据仓库 数据分析的对象是"数据" 因此必须对数据进行有效管理，这便是数据仓库的职责。 数据仓库两方面...
这个系统涉及到的用户有几百万，每个用户都会有很多的金融数据，金融总是要结算的，所以每个月到结算日会有千万条数据需要操作，累计有几十亿次的计算，那么面对这庞大的数据集，我是瑟瑟发抖的，之前对于优化只是...
面对需求网点众多，约束条件繁杂的配送情况，单纯地使用节约里程法优化物流配送路线，数据量和复杂度是非常庞大的，得到的结果并不理想会出现交叉的情况，因此添加局部优化使得路径更加合理。
Proficy软件与钢铁企业能源管理系统2flv,...iFIX、Proficy Historian、Cause 等软件平台成为钢铁企业能源管理系统搭建的可靠基石，以其大数据量吞吐、精细画面显示、可预测的专家系统功能赢得了大量客户的肯定与支持。
而在我们专业行业上又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 通俗一点我们只需要记到四...
半导体制造业面对的这三大挑战是： （1）设备和工艺的复杂性; （2）工艺的动态性和背景丰富性; （3）在准确性和可用性方面表现不良的数据质量。 这些挑战使人们意识到半导体行业的分析解决方案不能完全由数据驱动。...
随着无线通信的普及，无线网络优化成了新兴的行业。作为一名网络优化从业...面对海量的网络数据，数据库复杂的结构等现实，无线指标统计平台可以保证数据的可靠性和有效性，将极大的提高网络优化从业人员的工作效率。
当前大多数企业应用软件都需要数据库支持, 而且...面对大数据量, 企业级应用的性能愈来愈依赖数据库的性能。对数据库性能要素进行全面的描述和分析, 以便对数据库的选择、应用和基于数据库的二次开发提供工程参考。
Proficy软件与钢铁企业能源管理系统1flv,...iFIX、Proficy Historian、Cause 等软件平台成为钢铁企业能源管理系统搭建的可靠基石，以其大数据量吞吐、精细画面显示、可预测的专家系统功能赢得了大量客户的肯定与支持。
交易数据管理平台的系统性能保障技术解析，张奔，王晨升，交易平台网站面对大量用户访问和高并发请求容易造成网络瘫痪和大数据量存储问题，针对这些问题，本文给出一套具体的性能优化方案
实验证明，RPES的降维算法高效、容易实现，适用于数据量较大、维度较高的数据集，可视化结果不仅易于理解，而且能够有效提供维度分布信息，有利于用户发掘隐性知识，辅助其进行基于多维数据的决策。
分类法：面对大数据集时，您可以先对其分类，然后再分析和检查小数据集。分类方法对于样本训练具有很好的容忍性，但往往会过度学习。我们将需要设置更多的测试样本，并使用更多的算法进行检测和挖掘，因此在此不再...
如果数据量剧增之后，数据库能否适应这些变化？回答诸如此类的问题，首先需要明白到底什么是数据库。数据库是数据库管理系统的核心，是存放数据库对象的容器，是使用数据库系统时首先面对的对象。管理数据库就是设计...
在建设大规模的视频监控网络时，面对监控终端随时传输过来的动态数据流问题，提出一种动态的数据量预测方法和优化设计方案．通过对系统均衡状态的理论分析，建立多层排队网络模型用以分析和预测视频监控网络的视频...
考勤管理系统在满足用户功能方面的...部署完成后对系统进行了性能测试，分析测试结果并与市场主流考勤系统进行比较，得出本文中设计的部署方案在性能上有所提升，本文对大数据量的考勤系统的方案优化有一定实用价值。
比如，一个市场人员可以结合自身的经验来分析和预测行业前沿数据和资料，在此基础上，可以结合数据决策或者结合自身的从业经验来优化企业方案的设置，也可以深化这两者方式结合机制的运用。数据驱动决策不具备排他性...