- 博客(171)
- 收藏
- 关注
RSS订阅原创 最新Flink实时数仓同步：快照表实战详解，2024年最新腾讯T3大牛亲自教你
首先，由于实时流水表同步使用Flink-cdc读取关系型数据库，flink-cdc提供了四种模式： “initial”，“earliest-offset”，“latest-offset”，“specific-offset” 和 “timestamp”。initial（默认）：在第一次启动时对受监视的数据库表执行初始快照，并继续读取最新的 binlog。：跳过快照阶段，从可读取的最早 binlog 位点开始读取。
2024-05-16 06:01:42
948
原创 最新Flink 调度源码分析1：拓扑图创建与提交过程，2024年最新大数据开发面试常用算法
录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**// 设置执行图的作业名、节点等信息。查看其调用过程如下。// 创建一个执行图。
2024-05-16 06:01:09
717
原创 最新Flink 学习3 - 流处理API的基本转换算子 + 多流转换算子，2024年最新成功入职腾讯月薪45K
DataStream -> KeyedStream：逻辑地将一个流拆分成不相交的分区，每个分区包含具有相同key的元素，在内部以hash的形式实现的。DataStream 里没有 reduce 和 sum 这类聚合操作的方法，因为 Flink 设计中，所有数据必须先分组才能做聚合操作。2、不同的key有可能分到一起，因为是通过hash原理实现的；map、flatMap、filter通常被统一称为基本转换算子（简单转换算子）这个算子可以针对 KeyedStream 每一个支流做聚合。且后续会持续更新**
2024-05-16 06:00:37
317
原创 大数据最新牛客网语法篇练习函数类型_小乐乐学会了自定义函数,bobo老师(1)，2024年最新正式加入字节跳动
【代码】大数据最新牛客网语法篇练习函数类型_小乐乐学会了自定义函数,bobo老师(1)，2024年最新正式加入字节跳动。
2024-05-15 21:14:14
972
原创 大数据最新深度体验学习国产API工具Eolink_eolink 请求无响应(3)，有了这些中高端面试专题-大厂还会远吗
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！的很快，但一群人才能走的更远！
2024-05-15 21:13:41
521
原创 大数据最新消息中间件-面试题(1)，面试宝典
化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2024-05-15 21:13:08
411
原创 大数据最新洽谈 “会话技术” 纯干货赶紧收藏吧_回话的技术，你想学的都在这里
http是无状态的，每个客户端去访问服务器的的时候，服务器不会记住每个客户端的信息，如果你第一次访问添加一件商品，然后关闭浏览器，再次访问的时候，所以服务器没有记住客户端的信息，购物车还是空的，这是不合理，所以需要通过下面两个技术来实现保存数据信息的功能。1、浏览器访问服务器，服务器命令浏览器在客户端硬盘中存储cookie文件，是键值对的形式，第二次浏览器访问服务器的时候会携带cookie文件，服务器读取cookie,如果里面有值代表访问过，否则是第一次访问。setcookie(‘name’,’值’)；
2024-05-15 21:12:35
872
原创 大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件
在 Standalone 部署时，因为 TaskManager 是单独启动的（没有Per-Job 模式），所以 ResourceManager 只能分发可用 TaskManager 的任务槽，不能单独启动新TaskManager。TaskManager 启动之后，JobManager 会与它建立连接，并将作业图（JobGraph）转换成可执行的“执行图”（ExecutionGraph）分发给可用的 TaskManager，然后就由 TaskManager 具体执行任务。而在有资源管理平台时，就不受此限制。
2024-05-15 10:24:33
332
原创 大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件(3)
TaskManager 启动之后，JobManager 会与它建立连接，并将作业图（JobGraph）转换成可执行的“执行图”（ExecutionGraph）分发给可用的 TaskManager，然后就由 TaskManager 具体执行任务。从以 Greenplum 为代表的 MPP（Massively Parallel Processing，大规模并行处理）架构，到 Hadoop、Spark 为代表的批处理架构，再到 Storm、Flink 为代表的流处理架构，都是以分布式作为系统架构的基本形态的。
2024-05-15 10:23:57
261
原创 【云原生 技术基石】4：速通云原生基石-Istio服务网格_istio 服务之间调用架构图(3)
提到微服务的时候，我们经常提到服务之间的各类服务网络是如何进行互相调用、互相配置、互相传递请求的。这些都必不可少的不能不提及服务网络。引用谷歌上面的解释：Service Mesh是微服务时代的 TCP/IP 协议。那么其作用就很好理解了，就是给服务之间提供稳定安全、快速可靠的通讯。一言以盖之，服务网络就是各个服务之间的TCP/IP协议簇，负责我们所熟悉的网络调用、限流、熔断监控等等各种功能。与实际应用部署一起，并且能对应用透明。
2024-05-15 01:47:19
833
原创 【云原生 技术基石】4：速通云原生基石-Istio服务网格_istio 服务之间调用架构图(2)
提到微服务的时候，我们经常提到服务之间的各类服务网络是如何进行互相调用、互相配置、互相传递请求的。这些都必不可少的不能不提及服务网络。引用谷歌上面的解释：Service Mesh是微服务时代的 TCP/IP 协议。那么其作用就很好理解了，就是给服务之间提供稳定安全、快速可靠的通讯。一言以盖之，服务网络就是各个服务之间的TCP/IP协议簇，负责我们所熟悉的网络调用、限流、熔断监控等等各种功能。与实际应用部署一起，并且能对应用透明。
2024-05-15 01:46:43
936
原创 【云原生 技术基石】4：速通云原生基石-Istio服务网格_istio 服务之间调用架构图(1)
提到微服务的时候，我们经常提到服务之间的各类服务网络是如何进行互相调用、互相配置、互相传递请求的。这些都必不可少的不能不提及服务网络。引用谷歌上面的解释：Service Mesh是微服务时代的 TCP/IP 协议。那么其作用就很好理解了，就是给服务之间提供稳定安全、快速可靠的通讯。一言以盖之，服务网络就是各个服务之间的TCP/IP协议簇，负责我们所熟悉的网络调用、限流、熔断监控等等各种功能。与实际应用部署一起，并且能对应用透明。
2024-05-15 01:46:07
670
原创 【云原生 实践指北】5：真实业务场景下云原生项目落地实践学习_云原生指北
C站这么多大佬都讲了如何去实践Docker或者K8s简单实战，笔者也没有真实做过一些云原生实战项目，都是跟着B站大学学过一些简单概念与基本入门的命令。也就不多写这些知识了！大家学习云原生，肯定都很少听过云原生一些真实的场景下如何去运用如何去落地，只知道Docker能干嘛干嘛，K8s能用来高效能的管理容器编排，云原生能够赋能项目如何如何减小成本等等。那么本期文章就是笔者学习了一些腾讯云/阿里云基于云原生的产品项目开放的落地实践方案的一些感想与学习记录。后续也会多写一些云原生落地实践方案的学习记录！
2024-05-15 01:45:31
681
原创 IDEA创建动态web工程并配置Tomcat服务器_idea新建web项目并配置tomcat
注意创建classes目录后需要做下面的设置：File - - - Project Structure - - - Modules - - - 选择模块名 - - – 选择sources下的classes目录，点击Ecluded即可把classes变为橙色。在web目录下的WEB-INF 目录下创建 classes文件（存放编译后的字节码文件）和lib（存放导入的架包）可以新添加一个jar包，将已有jar包添加到其它模块等等，管理jar包更加方便。1️⃣ 添加jar包方式一：为指定模块添加jar包。
2024-05-14 16:24:45
256
原创 ICT技术发展趋势，AI、大数据和云计算的概述及存储应用技术【2】(1)
原来是暴雨来临时，水里气压增大，鱼儿浮游到海面可以更方便的呼吸。大数据并不光光是指新数据，在这个社会当中，最有价值的数据仍然是在企业内部本身几十年来已经累计下来的数据，也就是说在传统的数据管理核心系统当中产生出的，是仍然具有价值的，不一定是最大的数据，也不一定是最新潮的数据，但它一定是具有最大商业价值的数据。OceanStor DJ是华为公司推出的面向云数据中心发展的业务驱动存储控制软件，统一管理数据中心存储资源，提供业务驱动、自动化的存储服务，提升云化环境中存储资源的利用率和存储服务的供给效率。
2024-05-14 16:24:09
466
原创 Hive表字段值中存在换行符，查询结果混乱进而导致插入失败_hive 插入的数据有换行
件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**从上面结果可以看到，若Hive表字段值中存在换行符，MapReduce和Spark引擎的查询结果出现混乱。自动化调度系统在按周期天执行数据迁移（出库）任务时，在执行到某条SQL时报错，最终导致任务失败。由于我们的调度系统设置的执行引擎为Spark，因此，原本查询的一行结果会被字段值中的换行符。报错信息提示语法问题，可是检查SQL发现也没有什么语法问题，这到底是怎么回事呢？
2024-05-14 16:23:33
526
原创 Hive表字段值中存在换行符，查询结果混乱进而导致插入失败_hive 插入的数据有换行(1)
【代码】Hive表字段值中存在换行符，查询结果混乱进而导致插入失败_hive 插入的数据有换行(1)
2024-05-14 16:22:56
424
原创 2024年最全最新Python大数据之Excel进阶(2)，2024年最新Github上最值得学习的10个大数据开发开源项目
点击确定，生成图表图表介绍图表创建完成后。用户如果发现创建的图表与实际需求不符，还可以对其进行适当的编辑更改图表类型1.图表创建完成后，发现图表类型不能满足可视化分析的需求，可以更改图表的类型在图表上右键点击，唤出菜单，选择更改图表类型。•选择你要修改的图表类型，点击确定，图表类型更换完成1.有些情况下，需要把某个数据系列设置为另一种图表类型•同样右键点击，唤出下拉菜单，点击更改图表类型。1.增加数据系列通过图表设计中的选择数据对话框，重新选择数据。
2024-05-14 07:46:42
827
原创 2024年最全数据结构——单链表的基本操作_数据结构单链表的相关操作，2024年最新2024火爆全网系列
1.第一种我们可以在tail在往下继续指向时定义一个prev，双指针，tail再走之前给到prev，在依次执行，最后在找到tail时，tail的前一个也可以找得到（这里不写出来，大家可以试试！（9）单链表在pos位置之后插入x，给出的位置不再是下标，而是指针，注意地址的衔接情况，这里可以不用二级指针，这里改变的是结构体，只需要结构体指针就可以了。（7）单链表头删，删除时需要断言一下，不能直接删，不然的话找不到下一个的地址，我们可以保存下一个，之后指向下一个就解决了，这就是单链表的优势所在。
2024-05-14 07:46:06
345
原创 2024年最全数据结构——二叉树（上）_文件系统是二叉树还是树(2)，2024年最新BTAJ面试有关散列（哈希）表的面试题详解
许久未见，今日为小伙伴们带来关于数据结构中二叉树的讲解，希望小伙伴们能够从中有所收获，就是对作者的最大鼓励！！！与数据结构的其他内容一样，在进行堆的功能实现之前，我们需要堆所存储的数据类型进行定义以及在调用这个堆的时候所使用的的结构体的定义。两者皆可根据读者的实际需求进行个性化定义，本文只是采取其中一种进行编写。本文对堆的数据类型采取整形的形式，而对于结构体的定义，我们在其中定义了三个变量，分别是存储数据的数组a数组元素的个数size数组的最大存储元素个数capacity。
2024-05-14 07:45:30
886
原创 2024年最全数据结构--排序_数据结构prev(1)，2024年最新最新“美团+字节+腾讯”三面问题
/ 大思路：选择排序，依次选数，从后往前排。// 大思路：选择排序，依次选数，从后往前排。// 大思路：选择排序，依次选数，从后往前排。// 建堆 – 向下调整建堆 - O(N)// 建堆 – 向下调整建堆 - O(N)// 建堆 – 向下调整建堆 - O(N)// 快速排序hoare版本。// 快速排序 非递归实现。// 快速排序前后指针法。// 归并排序非递归实现。// 找出小的那个孩子。// 快速排序递归实现。// 归并排序递归实现。// 希尔排序(化简)// 升序 – 大堆。
2024-05-14 07:44:53
793
原创 2024年大数据最新Nasu Elasticsearch Charts：轻松实现数据可视化的利器(3)，大数据开发程序员
Nasu Elasticsearch Charts是纳速云云服务中的一个组件，旨在简化数据可视化的过程。它允许用户轻松创建多种图表，包括线性图、饼图、散点图等，以更好地展示Elasticsearch中的数据。
2024-05-13 22:58:31
435
原创 2024年大数据最新Mysql----查看数据库,表占用磁盘大小_数据库占用磁盘空间(3)，满满的干货
TABLE_SCHEMA | varchar(64) | NO | | | | 数据库名。| TABLE_NAME | varchar(64) | NO | | | | 表名。| TABLE_TYPE | varchar(64) | NO | | | | 引擎。
2024-05-13 22:57:55
446
1
原创 2024年大数据最新Mycat搭建读写分离(一主一从、双主双从)_mycat配置主从，2024年最新学大数据开发的入门基础知识
我们通过Mycat和MySQL的主从复制配合搭建数据库的读写分离，实现MySQL的高可用性。我们将搭建一主一从、双主双从两种读写分离模式。
2024-05-13 22:57:19
945
原创 2024年大数据最新Mycat实现单库水平分表、按月分表_mycat 按月分表，大数据开发从入门到精通
此分片适用于提前规划好分片字段某个范围属于哪个分片。dn1重启MycatMycatdn1。
2024-05-13 22:56:42
858
原创 牛客网《剑指offer》专栏刷题练习之掌握动态规划思想_动态规划 牛客网(1)
来记录连续子数组的最大值，并根据最大值来更新连续子数组的区间，最后将最长区间作为数组下标，将区间范围的元素全部插入到要返回的数组中。首先我们要弄清楚题目的含义：什么是连续子数组？我们仍然要通过辅助数组。
2024-05-12 20:01:39
276
原创 牛客网《剑指offer》专栏刷题练习之双指针算法的使用_剑指offer 双指针
【代码】牛客网《剑指offer》专栏刷题练习之双指针算法的使用_剑指offer 双指针。
2024-05-12 20:01:03
311
原创 牛客网《剑指offer》专栏刷题练习之双指针算法的使用_剑指offer 双指针(1)
【代码】牛客网《剑指offer》专栏刷题练习之双指针算法的使用_剑指offer 双指针(1)
2024-05-12 20:00:27
415
原创 牛客网《剑指offer》专栏刷题练习之二叉树合集_剑指offer 牛客网(1)
本篇文章给大家分享牛客网《剑指offer》专栏中有关二叉树的经典算法题解，我会按照自己的理解与思路帮助大家搞懂算法流程。
2024-05-12 19:59:51
282
原创 大数据最新零基础如何学习大数据？_大数据零基础学习(1)，作为大数据开发程序员应该怎样去规划自己的学习路线
（1）金融：大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。（2）城市管理：可以利用大数据实现智能交通、环保监测、城市规划和智能安防。（3）医疗：在发现诊断疾病时，疾病的确诊和治疗方案的确定是最困难的。而借助于大数据平台我们可以收集不同病例和治疗方案，以及病人的基本特征，可以建立针对疾病特点的数据库。（4）零售：零售行业可以了通过大数据技术，了解客户消费喜好和趋势，进行商品的精准营销，降低营销成本。另外，还能依据客户购买产品，为客户提供可能购买的其它产品，扩大销售额。
2024-05-12 02:52:09
1000
1
原创 大数据最新阿卡姆大数据科普报告——Calcite(2)，大数据开发大厂面试真题解析大全
所以如果你有一些存储下来的数据希望通过SQL访问它，首先需要定义一个自定义表或是schema，然后再去定义一些能使数据访问高效的规则。是通用格式，包含了一个自定义表org.apache.calcite.adapter.csv.CsvTableFactory,这个类实现了。和它对应的文件)，同时也提供给了开发者更多的控制选项(例如，为每一个table提供不同参数)。)有，例如，有100列和100万行数据，你肯定希望用户在每次查询过程中不检索全量数据。)实现和查询都没有问题，因为我们的表中并没有大量的数据。
2024-05-12 02:50:57
676
原创 大数据最新邵奈一的技术博客导航，网易资深大数据开发架构师
1、Flume、Kafka、Storm实时流综合案例实战Flume+Kafka+Storm实战：一、Kakfa与Storm整合Flume+Kafka+Storm实战：二、Flume与Kafka整合。
2024-05-12 02:50:21
705
1
原创 大数据最全Python大数据-电商产品评论情感数据分析，2024年大数据开发程序员职业规划
n_word = seg_word.apply(lambda x: len(x)) # 每一评论中词的个数index_content = sum(n_content, []) # 将嵌套的列表展开，作为词所在评论的idword = [x[0] for x in seg_word] # 词nature = [x[1] for x in seg_word] # 词性content_type = sum(content_type, []) # 评论类型。
2024-05-11 18:12:22
920
原创 大数据最全Python基础知识入门（四）_python x != 0(2)，作为一名程序员我不忘初心
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！else:print(‘B’)x = 100print(‘A’) if x > 100 else print(‘B’)x = 100print((‘B’,‘
2024-05-11 18:11:46
816
原创 大数据最全Python基础知识入门（三）_x={1 3},x[3]=1,print(x)(1)，2024年最新大数据开发高频面试题+解析
字典是由大括号 {} 包裹所有元素。字典的每个元素是键值对，中间用英文冒号连接（:）如 {‘name’: ‘漫步桔田’}，其中我们把 ‘name’ 叫 键（key），’ 漫步桔田’ 叫 值（value）。集合是一个无序不重复的序列。使用大括号 { } 或者 set() 函数创建集合。例如：{1,2,3}。创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。
2024-05-11 18:11:10
735
原创 大数据最全python中常用的魔术方法总结（一）_python __next__魔术方法(1)，888道大数据开发高级面试题
print(‘__init__执行了’)print(‘__init__执行了’)print(“初始化方法”)__iter__被调用。__next__被调用。__next__被调用。__next__被调用。__next__被调用。__next__被调用。__next__被调用。
2024-05-11 18:10:34
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人