大数据处理的基本思路 知识点题库

结合分治策略,递归也可以用三个字概况。分:将原有问题成K个子问题;治:对这K个子问题。如果子问题的规模仍然不够小,则将其再分解为K个子问题,如此进行下去,直到问题足够小时,就很容易求出子问题的解。合:将求出的小规模问题的解为一个更大规模问题的解,自下而上逐步求出原问题的解。
大数据的分析理念在数据规模上强调相对数据而不是绝对数据。
分治策略是计算机求解问题的一个经典算法,它也是一种分解问题的思维方法。下列关于“分治策略”的描述正确的是(   )。
A . 分治策略就是把大问题转化为不同的小问题来解决 B . 分治策略就是把一个问题转化为多个问题同时解决 C . 分治策略解决问题时一般分为“分解”、“解决”和“合并”三个步骤 D . 分治策略解决问题时必须使用递归算法进行
分治的设计思想,是将一个难以直接解决的大问题,分割成一些较小的同类问题,各个击破,最终达到解决问题的目的。分治法所能解决的问题所具有的特征,以下说法错误的是(    )
A . 该问题可以分解为若于个规模较小的相同的子问题 B . 该问题的规模足够大 C . 该问题的规模缩小到一定的程度就可以很容易地解决 D . 将各个子问题的解可以合并为原问题的解
下列关于大数据处理的说法,错误的是 (     )
A . 处理大数据一般采用分治思想 B . 数据采集只能收集结构化数据  C . 图计算主要针对图数据 D . 并行处理能节省复杂问题的处理时间
分治法的设计思想是将一个难以直接解决的大问题分割成规模较小的子问题,分别解决问题,最后将子问题的解组合起来形成原问题的解。这要求原问题和子问题的(   )
A . 规模相同,性质相同 B . 规模相同,性质不同 C . 规模不同,性质相同 D . 规模不同,性质不同
关于大数据处理,下列说法正确的是(     )
A . 大数据必须采集完成后才能处理 B . 大数据包括对静态数据的批处理、对流数据的实时计算和对图结构数据的图计算 C . 大数据只能处理结构化数据不能处理非结构化的数据 D . 数据的可视化可以增强数据的解释力与吸引力
某搜索引擎网站一天的访问日志数据如图a所示,现要从中提取出访问网站次数最多的IP。由于IP日志文件数据量非常大,我们可以把IP日志数据分别存储到多个小文件中,分别统计出每个小文件中出现次数最多的IP地址及次数,再对各个小文件中的数据进行汇总。统计的结果如图b所示。

图 a

图 b

  1. (1) 上述处理大数据的方法,采用的是 思想。
  2. (2) 统计小文件中出现次数最多的IP地址的Python代码如下,在划线出补充合适的代码,实现统计功能。

    def showmax(ips):                #统计出现次数最多的 IP 地址和出现次数

    dic={}

    maxn=0

    for i in range(len(ips)):

      if ips[i] in dic:

        dic[ips[i]]+=1

        if :

          maxn=dic[ips[i]]

          maxIp=ips[i]

        else:

            

        return maxIp,maxn

        with open("temp.log"," r ") as ips=[] f:     #读取小文件temp.log中的IP地址

        for line in f:

          ip=line.split()[0]

          ips.append(ip)     #将IP地址逐行追加到列表ips中

                #调用showmax函数

    Prin t("出现次数最多的 IP 是: ",a[0],"  出现次数为: ",a[1])

下列关于大数据的说法,正确的有:()
A . 在很多情况下,大数据的来源可以不依靠人工 B . 大数据产生的速度快,处理速度可以慢一些 C . 大数据可以使用 Excel 电子表格或数据库来处理 D . 当数据量很大时,可以抽取部分数据作为大数据的数据源
大数据处理环节,大致可按阶段划分为获取、储存、挖掘分析、最终应用与服务等步骤。在农业生产过程中,利用传感器监测光照、温度、二氧化碳、氧气等数据属于大数据处理的(     )环节。
A . 获取 B . 存储 C . 挖掘分析 D . 最终应用
“大事化小、小事化了”体现出的问题求解的思想是(      )。
A . 穷举法 B . 分治法 C . 归纳法 D . 递推法
宝洁营销总监凯文·克罗西亚塔表示,来自Weather Co的特定数据,结合女士所处的准确位置和天气,可帮助投放高精度精准的广告,对于在高温湿热的地区查看天气的女士,就应该向她推送柔顺产品,而如果她属于低湿热地区,她的头发没有弹性,那就应该向他投放富有弹性配方洗发水的广告,该案例属于大数据处理中的(     )。
A . 可视化表达 B . 数据采集 C . 大数据服务 D . 挖掘分析