一、大数据怎么做？

1. 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。

2. 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测(Predict)的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

二、什么是大数据概念？

大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

目前大数据技术的话，建议系统学习，自学没有方向，学习太碎片化，推荐一家北京尚学堂，15年了，课程很专业，有一个同事就是他家培训完应聘过来的，技术操作和项目实战这块确实可以，记得他家的线上品牌是百战程序员，上班族的工作性质，可以考虑线上学习，技术行业更新发展太快，学习投资，升职加薪就很有必要。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。

大 数据的采集。科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、 GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到 其内在规律。

大数据的挖掘和处理。大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。

三、大数据是指？

大数据顾名思义就是海量的数据堆在一起，就现成了大数据，大数据分实时时间和历史数据，大数据又分it数据，ot数据，视频时间，图像数据，时空数据等多类型数据，大数据的目的就是实现更智慧，更智能。大数据不去挖掘分析就是一堆无用的数据，所以就必须各种行业应用专家去建模，去分析挖掘。

因此在大数据面前，行业专家最吃香，码农一抓一大把，模型专家有几个。对于企业大数据分析挖掘可以为企业提高效率，提高品质，降低成本等等若干优点，越是规模大的企业，大数据挖掘价值越大，给你举2个例子，一个就是九江某石化公司，没有进行大数据挖掘优化前年年亏损，挖掘优化后，他的效率提高了，他的品质提供了，现在每年盈利20多个亿，在石化行业，产品分多个品质，提高几个百分点就是另外一个品质，价格差异很大，这些企业产量相当惊人，上升1个百分点都很厉害。再举个例子，滴滴优化分配问题，因为他们一段时间内产生数据量太大，没有优化前，为了解决实时性问题，用了几百万硬件堆叠，用硬件解决性能问题，优化后，一台笔记本解决，所以学好数学还是很关键的。

四、大数据原理及应用？

大数据原理是指利用分布式存储和处理技术，对海量、多样的数据进行采集、存储、处理和分析，从中挖掘出有价值的信息和知识。

在应用方面，大数据可用于金融风控、电商推荐系统、医疗健康管理、智慧城市等领域。通过对大数据的深度分析和挖掘，可以帮助企业优化运营、提高决策效率，为用户提供更加智能和个性化的服务，推动社会和经济的发展。因此，大数据原理和应用对于推动科技进步和社会发展具有重要意义。

五、大数据查询业务介绍？

大数据查询业务是指通过使用大数据技术，对海量数据进行存储、管理、分析、挖掘，从而提供可视化的查询服务的一种业务。 1.该业务以大数据技术为核心，具有存储、计算、分析等多种功能，可以对数据进行不同层次、多角度的展示。 2.大数据查询业务可以用于数据挖掘、IT安全等多个领域，通过直观的数据展示和深入的数据分析，帮助企业和政府更好地了解市场形势、预测未来走向、发现潜在的机会和威胁。 3.随着大数据技术的逐渐成熟和应用，大数据查询业务将会在各个行业和领域内发挥越来越重要的作用。