普通网友-CSDN博客

原创最全大数据测试 - 数仓测试_数据仓库测试(1)，2024年最新作为大数据开发程序员应该怎样去规划自己的学习路线

nvl(t22.spu_bid_cnt_30d,0) as spu_bid_cnt_30d – 近30天_出价spu数。,t22.spu_inv_num_30d as spu_inv_num_30d – 近30天_在售商品数。,nvl(t22.spu_inv_num_7d,0) as spu_inv_num_7d – 近七天_在售商品数。,t1.xxx_rate AS xx率。

2024-05-16 04:15:22 855

原创最全大数据核心技术（程序员月入5000小技巧），3年内被辞退5次35岁程序员该何去何从

不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！数据分析通过对多种组件的综合应用，Spark 可支持数据建模师进行数据分析任务。传统的关系数据库里存放的内容就是结构化数据，而图片、音频、视频、文档等以普通文件形式存放的数据，就是非结构化数据。MapReduce的Task的执行单元是进程，Spark的Task执行单元是线程。运行速度迅速，容易上手开发，超强的通用性，集成Hadoop，极高的活跃度、

2024-05-16 04:14:49 688

原创最全大数据方向学习进阶知识图谱_大数据技术知识图谱，2024年最新大数据开发开发进大厂面试必备技能

Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于 Hadoop 的批处理系统、低延迟的实时系统、Spark 流式处理引擎，Nginx 日志、访问日志，消息服务等等，用 Scala 语言编写，Linkedin 于 2010 年贡献给了 Apache 基金会并成为顶级开源项目。

2024-05-16 04:14:16 663

原创最全大数据技术（程序员月薪2w+小技巧）(2)，拿下offer全凭这套“面试+架构进阶知识点”pdf

Spark是为数据科学设计的，数据科学家将Spark纳入其应用程序，能够处理包括跨大型数据集的交互式查询，来自传感器或金融系统的流数据以及机器学习任务，且Spark将数据集缓存在内存中的能力大大加快了迭代数据处理速度，使得Spark成为实现迭代的MapReduce算法的理想处理引擎。Spark是为大数据工程师设计的，在强大的计算能力和优秀的架构设计面前，可以让数据工程师在不管是离线情景下还是实时的业务需求下，都可以放心的选择使用Spark。通过 Spark SQL，我们可以使用 SQL操作数据。

2024-05-16 04:13:43 650

原创大数据最新一篇文章搞懂数据仓库：数据应用--OLAP(1)，从入门到精通

不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！druid属于时间存储，删除操作比较繁琐，且不支持查询条件删除数据，只能根据时间范围删除数据。Druid能接受的数据的格式相对简单，比如不能处理嵌套结构的数据。实时查询和分析的高容错、高性能开源分布式系统，用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。，也是OLAP最初的形态，特点是对数据进行预计算，以空间换效率，，汇总数据下钻到明细数据。

2024-05-15 19:27:19 337

原创大数据最新一文带你揭秘并实现“大数据杀熟”背后的逻辑！_大数据杀熟ppt，2024年最新温故而知新

算上这次，博主已经是第三次开发挖掘型标签了。所以就不单独把每一步具体实现的业务拿出来慢慢叙述了。更多的细节已经每步实现的效果已经用。综上所述，我们可以将计算PSM的目标进一步变成计算以下四个数据，只要将它们计算出来，PSM就迎刃而解。我们如果要实现根据不同的人给出不同的价格，那么如何才能确定用户的价格敏感度(的方式贴在代码中了，有兴趣尝试的朋友，或者想要借鉴结果的朋友可以一睹代码究竟。前三个数据，我们可以提供统计型函数计算得出，而。这一点我们明确了之后，就可以很好的上手代码了。

2024-05-15 19:26:46 226

原创大数据最新一图胜千言大数据入门必备的16张数据流转图(建议收藏)(1)，面试

真正体系化！**

2024-05-15 19:26:13 268

原创大数据最新【，2024年最新字节跳动面试必问

当前流的内容将复制到的流。bufferSize缓冲区的大小。此值必须大于零。默认大小为 81920。

2024-05-15 19:25:40 343

原创助力工业物联网，工业大数据之维修事实指标需求分析【二十二】(1)

【代码】助力工业物联网，工业大数据之维修事实指标需求分析【二十二】(1)

2024-05-15 08:27:52 715

原创助力工业物联网，工业大数据之服务域：派单主题分析实现【二十九】_工业订单数据域如何分析

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！目标：掌握派单主题的需求分析实现路径实施分析指标维度数据事实表fact_worker_order：工单事务事实表维度表dim_date：时间维度表

2024-05-15 08:27:16 619

原创助力工业物联网，工业大数据之服务域：派单主题分析实现【二十九】_工业订单数据域如何分析(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取小结目标：掌握费用主题的需求分析路径实施分析指标维度数据事实表fact_regular_exp：报销事务事实表fact_srv_install：安装事务事实表维度表dim_date：时间

2024-05-15 08:26:40 551

原创助力工业物联网，工业大数据之服务域：定时调度使用【三十四】_工业物联网定时任务

(img-EZwP3ldD-1715732742008)]AirFlow配置：airflow.cfg。原理：自动发送邮件的原理：邮件第三方服务。：了解AirFlow中如何实现邮件告警。为什么要用Spark on YARN？Master和Worker是什么？：了解AirFlow的常用命令。什么是Standalone？：了解一站制造中调度的实现。Spark程序的组成结构？

2024-05-15 08:26:04 315

原创【Kafka从成神到升仙系列五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起(4)

SelectorSelector可能大多数的小伙伴这个时候已经有点晕了，没关系，我们本篇文章就是解决你晕的问题的我们会从Producer的源码一直会讲到Selector的源码并最终通过打日志的方式验证我们的猜想戴好安全带，我们发车了。

2024-05-14 23:46:40 886

原创【Kafka从成神到升仙系列五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起(3)

2024-05-14 23:46:03 722

原创【Kafka从成神到升仙系列五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起(2)

这个方法相信看过上篇博客：【Kafka从成神到升仙系列三】你真的了解 Kafka 的元数据嘛，已经有印象对，没错，这个就是我们kafka在发送消息时，会优先请求Broker获取元数据信息，然后再去发送消息具体细节的话，这里也不叙述了Sender。

2024-05-14 23:45:26 676

原创【Kafka从成神到升仙系列五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起(1)

/ 如果这个地方是 True，说明我们上面有的 TopicPartition 的 leader 节点为 null。// 如果没有准备好发送，则会与该节点初始化链接，便于下一次的消息发送。// 最终返回：所有准备好的节点与对应的batch列表。// 根据当前节点的编号拿到当前客户端的channel。// 获取当前Partition的leader节点。// 获取该分区的所有的RecordBatch。// 如果还未准备好，从准备好的队列中剔除掉。// 将节点与准备好的batch列表对应。

2024-05-14 23:44:49 621

原创 Apache Doris新手指南：10分钟内搭建数据分析引擎！_doris priority_netwoks(1)

你也可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址可以看到下面的界面，说明 FE 启动成功。

2024-05-14 14:26:47 938

原创 Apache DolphinScheduler征稿--大数据神器来了_apache dolphinscheduler java定时任务

当然后来的Airflow可能会比Quartz更好一点，但是Airflow的问题是可视化程度较低，流程及任务必须通过Python代码定义，如果一家机构拥有海量数据流程那么代码定义流程的方式维护起来简直是个噩梦，而且从我们实测的情况看，Airflow的可靠性一般，常出现卡死现象，当然这个也许是我们使用或者配置的问题，不是最终的结论。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

2024-05-14 14:26:11 450

原创 Apache DolphinScheduler征稿--大数据神器来了_apache dolphinscheduler java定时任务(4)

今天在刷CSDN时偶然看到一个有关，在初步了解了相关情况之后，我发现 Apache DolphinScheduler就是那个大数据任务调度平台EasyScheduler的前身，这引起了我很大的兴趣，深入调研一番以后，我认为Apache DolphinScheduler虽然目前知名度不高，但是其发展潜力却是不容忽视的，未来继续发展将为大数据的从业人员们解决不少痛点，因此决定参加这个征稿活动，向大家科普一下Apache DolphinScheduler的情况。

2024-05-14 14:25:35 322

原创 Apache DolphinScheduler征稿--大数据神器来了_apache dolphinscheduler java定时任务(3)

数据要在这里搬动三次，复制三份冗余，还要管理数据一致性，每天数据中心运维的大量工作在做数据搬家。目前诸多行业都将数字化转型的任务提上了日程，系统上云也是如火如荼，在这样的大背景下未来大数据的量级肯定还会不断创出新高，比如在上周阿里云的峰会上，Caffe之父贾扬清就指出阿里存储的数据量级正在以年化80%左右的速度增长，不过这样的数据增长速度，却成为大数据工程师的甜蜜负担，传统数据库与数仓用到数据湖三套体系的兼容性很差，能让他们整体协同工作运转就非常不易了，想提高效率真是难比上青天。

2024-05-14 14:24:59 877

原创 2024年最全【云服务器 ECS 实战】云服务器新手指南（配置+使用详解(1)，2024网易大数据开发高级面试题总结

云服务说白了就是我们远程的一个虚拟主机，有一台云服务器为我们提供着服务，这个服务器就是 ECS。云服务器 ECS（Elastic Compute Service），一种简单高效、处理能力可的计算服务。“弹性”是其最大特点，可以自动化的感知当前服务是否足够支持业务需要，进而实现自动扩容与缩容。无论是小型网址的托管还是超大计算集群搭建，都可以在 ECS 找到实现方案。

2024-05-14 05:48:45 638

原创 2024年最全【云原生与5G】微服务加持5G核心网_面向服务的5g云原生核心网(1)，2024年教你增加拿到BAT等大厂offer几率

每个网络服务和其他服务在业务功能上解耦，并且对外提供同一类型的服务化接口，向其他调用者提供服务，将多个耦合接口转变为同一类型的服务化接口，可以有效地减少接口数量，并统一服务调用方式，进而提升了网络的灵活性。实际上分布式架构已经具有了微服务的特性，但它的耦合性强，每个模块缺一不可，另外构建成本高。微服务，关键其实不仅仅是微服务本身，而是系统要提供一套基础的架构，这种架构使得微服务可以独立的部署、运行、升级，不仅如此，这个系统架构还让微服务与微服务之间在结构上“松耦合”，而在功能上“高内聚”。

2024-05-14 05:48:10 703

原创 2024年最全【云原生从零开始学Kubernetes】一、kubernetes到底是个啥，大数据开发开发基础视频

容器内服务可能由于进程堵塞无法处理请求，可以设置监控检查策略保证可用性当所部署的Node节点有问题时，会对容器进行重新部署和重新调度,并且当容未通过监控检查时，会关闭此容器直到容器正常运行时，才会对外提供服务处理请求可以设置监控检查策略保证可用。更新服务不中断、一次更新一个Pod，而不是同时删除整个服务，并且可以根据应用的变化对应用容器运行的应用，进行一次性或批量式更新。命名空间将对象逻辑上分配到不同的Namespace，可以是不同的项目、用户等区分管理，并设定控制策略，从而实现多租户。

2024-05-14 05:47:34 792

原创 2024年最全【中秋特辑-代码解析月饼节】C++比C语言更加规范(1)，真香

⭐命名空间中的内容，既可以定义变量，也可以定义函数命名空间是可以嵌套的【相对应的：调用的时候也需要嵌套调用】同一个工程中允许存在多个相同名称的命名空间,编译器最后会自动合成同一个命名空间中⭐缺省参数是C++中新添加的语法，使调用函数时变得更加灵活了⭐正是有函数名修饰规则的加持下，让C++相较于C语言上有了更加丰富的实现网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取。

2024-05-14 05:46:58 1040

原创 2024年大数据最全每天一道大厂SQL题【Day04】大数据排序统计_hive sql练习题目，大数据开发多进程从头讲到尾

一路走来，随着问题加深，发现不会的也愈来愈多。但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！

2024-05-13 21:00:20 362

原创 2024年大数据最全案例驱动：从入门到掌握Shell编程详细指南_shell编程指南，通用流行框架大全

基本语法变量=值unset 变量readonly变量，注意：不能unset其他说明变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。等号两侧不能有空格在bash中，变量默认类型都是字符串类型，无法直接进行数值运算变量的值如果有空格，需要使用双引号或单引号括起来案例：1、定义变量S2、撤销变量S3、声明静态的变量A=2补充：把变量提升为全局环境变量，可供其他Shell程序使用。export 变量名案例：使用shell脚本输出变量B。

2024-05-13 20:59:44 545

原创 2024年大数据最全本地与远程分支的关联操作_idea 本地分支如何关联远程分支，对大数据开发开发的现状和未来发展的思考

IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2024-05-13 20:59:08 879

原创 2024年大数据最全最新Python大数据之Excel进阶(1)，从入门到精通的大数据开发进阶学习笔记整理

1.有些情况下，需要把某个数据系列设置为另一种图表类型•同样右键点击，唤出下拉菜单，点击更改图表类型。1.增加数据系列通过图表设计中的选择数据对话框，重新选择数据•选中所要添加数据系列的图表。

2024-05-13 20:58:31 854

原创 2024年大数据最全5G时代-运营商大数据企业获客最佳手段(2)，字节跳动大数据开发三面凉凉

企业和销售必须应用运营商大数据深入分析客户需求，提供精准服务。所以说，大数据时代，企业将从砸钱的网销时代，转至运营商大数据精准营销时代。二、怎么样利用运营商大数据精准营销做好用户细分？想得到最佳的用户细分效果，可以利用运营商大数据挖掘（大数据精准营销）、用户画像体系、用户标签等一系列标准化标准流程可以更好地进行用户细分。运营商大数据精准标签建模，标签体系-个性化标签，个性化标签基于400固话、搜索词、URL、APP、位置、短信等五类维度，支持合作伙伴线上自助定制以上个性化标签需求。

2024-05-13 15:26:28 270

原创 2024年大数据最全4、最详细教程（Hadoop安装和配置）(1)，2024年最新带着问题深入学习Handler

Hadoop配置文件放在 /usr/local/src/hadoop-3.2.4/etc/hadoop/目录下，我的Hadoop解压目录为/usr/local/src/，进入配置文件目录开始编辑配置文件。（1-2）scp -r hadoop-3.2.4.tar.gz root@地址:/opt，此上传方式参考scp使用那篇文章。上传方式介绍2种，一种是通过finallshell上传，一种是使用scp上传，我的是上传到/opt目录下了。本步骤在从机中操作，如果未写在从机还是主机，都在主机中操作。

2024-05-13 15:25:52 1009

原创 2024年大数据最全3D Slicer - 图像分割标注教程_3dslicer标注(1)，2024年最新Glide的缓存机制

注意，有多个Segment的时候，若只想保存其中一个，则需要将其他的Segment设为不可见，即关闭Segment右侧的小眼睛。每次保存的是同级目录下的所有设为可视的Segment。事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！"，选择路径进行保存。保存为DICOM格式后，也可以重新打开，然后将其保存为NIFIT格式。双击Segment的Color可修改颜色，双击Name可修改名字。勾画label完成后，切换到。

2024-05-13 15:25:16 878

原创 2024年大数据最全3(1)，最新BAT大厂面试者整理的大数据开发面试题目模板

数据报和分组的关系就像父与子的关系一样数据报是比较长的数据，分组是把数据报进行分割，而划分出来的一个片段要实现网络层任务，需要解决以下主要问题:①网络层向运输层提供怎样的服务(可靠传输还是不可靠传输)②网络层寻址问题③路由选择问题如果所有结点都来不及接受分组，而要丢弃大量分组的话，网络就会处于拥塞状态。所以要采取一定的措施来缓解这种拥塞解决的方法有两种：①开环控制静②闭环控制动。

2024-05-13 15:24:39 494

原创最新架构师的核心能力_架构师核心业绩(1)，2024年最新大数据开发开发基础视频

一般来说，传统企业在开始考虑做服务治理时，已经积累了大量接口。接口改造和测试的耗费巨大而且周期长，其中部分系统可能是外包出去的，难以控制。综合企业环境和团队人员等因素，服务治理分阶段执行是比较合适的。（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！下面以传统企业几年前的服务治理为例，分析企业机构服务治理的过程。

2024-05-12 18:03:37 298

原创最新服务拆分和远程调用（微服务）_服务调用拆分什么意思，2024年最新为什么说大数据开发让大数据开发变得更好

看了需求图，相信大家对过程有了一个更清晰的了解，也明白接下来咱们需要做什么了，没错，我上句话已经说过了，order-service模块中的查询方法要向user-service模块发送一个http请求，调用http://localhost:8081/user/{userId}这个接口，获得相应的用户信息。为什么选择在order模块的启动类中呢，因为在这个过程中，order模块的相应方法是一个消费者行为，user模块充当的是一个服务者行为，而关于消费者和服务者理论，我会放在文末进行描述。

2024-05-12 18:03:01 340

原创最新服务异步通信——RabbitMQ的高级特性(2)，2024年最新我就不信你还听不明白了

友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

2024-05-12 18:02:25 410 1

原创最新有没有完全自主的国产化数据库技术 _国产数据库都是基于什么技术，2024年最新三年经验大数据开发开发面经总结

现在解决这个问题的办法只能是自强，将数据库核心技术掌握在自己手里，做属于自己的国产数据库。其实，这个事我国也已经张罗了几十年，早在上世纪80年代以研究所和大学为主的国家队就开始投入研发国产数据库，并在90年代相继推出了几款数据库产品。不过可惜的是这些产品研发从一开始就缺乏产业端的接入，并不是因为实际需求的刺激，而纯粹是为了拥有。这样，产品在商业市场的拓展也比较弱。作为追赶者，始终也没有看到对手的背影。知乎上有个问题：“中国跨过数据库这座大山了吗？” 翻译一下就是：现在有完全自主研发的国产数据库了吗？

2024-05-12 18:01:49 870

原创最全大数据核心技术（程序员月入5000小技巧）(3)，2024年最新程序员进阶知识点

不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！传统的关系数据库里存放的内容就是结构化数据，而图片、音频、视频、文档等以普通文件形式存放的数据，就是非结构化数据。Spark在处理数据时构建了DAG有向无环图，减少了shuffle和数据落地磁盘的次数。MapReduce的Task的执行单元是进程，Spark的Task执行单元是线程。运行速度迅速，容易上手开发，超强的通用性，集成Hadoop，极高的活跃度、

2024-05-12 09:31:54 221

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人