-
大数据集群开启 kerberos 认证后 Hive 作业执行败北
所属栏目：[资讯] 日期：2021-10-30 热度：67
进一步排查问题，需要 在理解作业的底层执行机制的基础上， 大胆猜想，小心求证。HIVE 作业的执行机制如下：终端业务用户比如 xyz 提交给 HIVESERVER2 的 SQL作业，经过 HIVESERVER2 的解析编译和优化后，一般会生成 MR/TEZ/SPARK 任务(之所以说一般，是因[详细]
-
浅谈大数据风控平台的功能需要
所属栏目：[资讯] 日期：2021-10-30 热度：146
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗[详细]
-
Flink执行流程和源码分析
所属栏目：[资讯] 日期：2021-10-30 热度：190
作业管理器(JobManager)(1) 控制一个应用程序执行的主进程，也就是说，每个应用程序 都会被一个不同的Jobmanager所控制执行(2) Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图( Job Graph)、逻辑数据流图( ogical dataflow graph)和打[详细]
-
数据安全：算法的限制性
所属栏目：[资讯] 日期：2021-10-30 热度：138
大数据时代，网络上的内容呈现出爆炸式的增长趋势，如何从纷繁复杂的网络内容中挑选出自己需要的信息，成为诸多互联网用户的烦恼。起初，搜索引擎的出现缓解了这种问题。但是，搜索引擎往往需要用户知道自己想要获取哪方面的内容，才能通过搜索寻找目标。例[详细]
-
数仓 | Kimball的维度建模out了吗？
所属栏目：[资讯] 日期：2021-10-30 热度：176
在KimBall的维度建模中，必须使用代理键作为每个维表的主键，用于处理缓慢变化维。这个问题对于初学数仓维度建模的人而言，很容易陷入Kimball提出的代理键的漩涡之中，以至于把时间都浪费了。其实代理键在大数据仓库环境下显得很不合时宜，并且很难维护。在[详细]
-
大数据制止网络安全威胁的5种可行方法
所属栏目：[资讯] 日期：2021-10-30 热度：51
大数据是一门新科学，数据生产率如今正在以惊人的速度发展。全球正在产生数量惊人的数据，而且随着物联网的发展，这一增长速度正在加快。调查表明，全球产生的数据90%都是在过去两年中产生的。此外，根据一些调研机构的预测，预计到2025年，全球将会产生200[详细]
-
Python中三个不常见但是很有用的数据科学库
所属栏目：[资讯] 日期：2021-10-30 热度：83
如果你过去一直在构建一些有监督的机器学习模型，你就会知道目标变量中的类别不平衡可能是一个大问题。这是因为在少数类中没有足够的例子来让算法学习模式。一个解决方案是创建一些合成样本，通过使用例如SMOTE(合成少数群体过采样技术)来增加少数群体类的[详细]
-
统计学派的18种经典数据分析方式
所属栏目：[资讯] 日期：2021-10-30 热度：130
描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计[详细]
-
数据开发，怎么平衡效率与质量
所属栏目：[资讯] 日期：2021-10-30 热度：183
描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计[详细]
-
浅析网易大数据平台下的数据质量
所属栏目：[资讯] 日期：2021-10-30 热度：139
大数据平台的核心理念是构建于业务之上，用数据为业务创造价值。大数据平台的搭建之初，优先满足业务的使用需求，数据质量往往是被忽视的一环。但随着业务的逐渐稳定，数据质量越来越被人们所重视。千里之堤，溃于蚁穴，糟糕的数据质量往往就会带来低效的数[详细]
-
互联网大数据对普通消费者的影响
所属栏目：[资讯] 日期：2021-10-30 热度：164
营销人员越来越多地使用人工智能和机器学习，以便浏览大量数据并获取对营销行动有用的信息。通过专业的分析，企业能够分析出消费者未来可能做的事情，从而调整他们的营销方向。大数据也让营销人员更好地了解消费者在互联网上的行为。以下是营销行业受大数据[详细]
-
通过更好的数据质量改进决策的八个重要提示
所属栏目：[资讯] 日期：2021-10-30 热度：55
企业对良好数据质量的需求日益增长，人们需要了解如何获得良好的数据质量以及它如何影响决策。搜索引擎上有关数据质量这一术语多达600万项，这清楚地表达了数据质量的重要性及其在决策场景中的关键作用。了解数据有助于对其进行分类和鉴定，以便在所需场景[详细]
-
大数据：阻止网络安全威胁的五种可行方法
所属栏目：[资讯] 日期：2021-10-30 热度：170
大数据是一门新科学，数据生产率如今正在以惊人的速度发展。全球正在产生数量惊人的数据，而且随着物联网的发展，这一增长速度正在加快。调查表明，全球产生的数据90%都是在过去两年中产生的。此外，根据一些调研机构的预测，预计到2025年，全球将会产生200[详细]
-
大数据下的千人千面，让你沉沦于网络之中
所属栏目：[资讯] 日期：2021-10-30 热度：134
通过这种技术，抖音和今日头条两款APP迅速成为全民APP用户数量成倍增长。据数据显示，截至2020年8月，包含抖音火山版在内，抖音的日活跃用户已经超过了6亿。今日头条用户接近6亿，MAU为2.6亿，日活跃近1.2亿。字节跳动成功的背后离不开大数据下的千人千面技[详细]
-
一篇关于HDFS的快照讲解
所属栏目：[资讯] 日期：2021-10-30 热度：75
一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像，使用vmware类似软件的同学指定，快照可以为虚拟机保存某个状态，如果做了更改，或者系统被折腾坏，还有个复原的操作。快照应用在如下场景中：防止用户的错误操作;备份：给hdfs目录做[详细]
-
数据科学家将数据科学技能转化成收入的优秀方法
所属栏目：[资讯] 日期：2021-10-30 热度：106
从数据科学中获得收入有多种方法，因为数据科学是有效数据管理的广阔领域。除了在知名公司从事朝九晚五的专业工作之外，数据科学家还有很多机会利用其数据科学的技能获得收入。这些方式将有助于长期获利，但在职业生涯的旅程中需要更多耐心。这将让有抱负的[详细]
-
什么是大数据系统存储及管理？
所属栏目：[资讯] 日期：2021-10-30 热度：188
在大数据存储和管理发展过程中，出现了几种较为有效的存储和管理大数据的方式，下面和小编一起来学习吧!大数据系统存储及管理1. 不断加密对于任何一个企业来说，任何类型的数据都可能是至关重要且私有的，只有能在自己掌控的范围内才可以说是安全的。然而，[详细]
-
手把手教你数据仓库建设
所属栏目：[资讯] 日期：2021-10-30 热度：82
前面部分是对数据的采集，然后经过ETL过程，最终存入数据仓库。这部分是通过一切手段收集数据，然而它的建设与数据应用需求无关。因为数据仓库存储的是过去数年的数据，而数据应用需求总是在变。如果数据应用需求一变化，就需要修改数据仓库的表结构，那么[详细]
-
我们一起聊聊大数据框架发展史
所属栏目：[资讯] 日期：2021-10-30 热度：199
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算[详细]
-
青空结界！一加9 RT《原神》主题套装开启预售
所属栏目：[资讯] 日期：2021-10-29 热度：106
10月26日，继此前米哈游方面宣布《原神》将与一加手机进行联动，一加9 RT 原神限定礼盒于今日开启预约，同时，于11月5日晚8点正式开售，售价3799元。 据官方消息，此次联动礼盒的主题为青空结界，设计灵感来自于《原神》的风属性角色砂糖。 在礼盒的设计上[详细]
-
致力预防型医疗，OPPO发布健康战略构建健康闭环生态
所属栏目：[资讯] 日期：2021-10-29 热度：165
2021年10月27日，中国，上海在2021 OPPO开发者大会（ODC21）上，OPPO分享了健康领域的探索成果，并首次公布健康战略。秉承科技为人，以善天下的使命，OPPO致力于真正解决健康领域的核心问题，三年内成为行业重要的推动者和贡献者。 OPPO助理副总裁、健康实[详细]
-
OPPO开放技术平台支持，打造下一代生态势能
所属栏目：[资讯] 日期：2021-10-29 热度：170
10月27日， 2021 OPPO开发者大会(ODC21)正式开幕。此次会议以开放互融 致善创新为主题，提出对未来生态的新思考。 面向未来万物互融时代，终端会越来越多样化，手机，手表，耳机，电视，智能眼镜，智能车机等服务的演进，将从过往的以终端为中心，到以平台[详细]
-
OPPO发力感知和计算领域，布局泛在服务未来
所属栏目：[资讯] 日期：2021-10-29 热度：163
10月27日，2021 OPPO开发者大会(ODC21)在上海举办。 OPPO软件工程事业部总裁吴恒刚表示，OPPO期望通过强大的感知交互能力和计算决策能力，围绕人的生活场景和行为习惯，构建以用户为中心的泛在服务体验。打造人与设备间更加自然无感的交互体验，在虚拟世界[详细]
-
OPPO发布小布虚拟人，开放面向开发者的多元AI能力
所属栏目：[资讯] 日期：2021-10-29 热度：139
10月27日，2021 OPPO开发者大会(ODC21)在上海举办，小布虚拟人正式发布。 小布虚拟人是首个基于虚拟人多模态交互的手机智能助手，涵盖视觉、语音、自然语言处理等多模态融合算法，依托小布助手的综合AI能力，实现与用户在多个场景生态下的内容服务、实时交[详细]
-
媲美专业微单相机 索尼Xperia 5 III国行版发布
所属栏目：[资讯] 日期：2021-10-29 热度：85
索尼此前在海外发布了 Xperia 5 III手机，近日，官方正式发布了该机的国行版本，售价为6599 元，预计将于12月初上市。（图源网络） 外观设计上，索尼一向都在坚持自己的风格，索尼Xperia 5 III继续沿用经典老款设计方案，机身整体较为细长、方正，是市面上[详细]
