- 博客(2838)
- 资源 (54)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 人工智能_机器学习101_特征值分解矩阵原理_线性代数之特征值和特征向量深入理解_利用特征值把矩阵分解成_特征向量乘以特征值---人工智能工作笔记0226
A= P^P-1 这里的P其实就是v特征向量对吧,就相当于A = lamada v /v 对吧,其实就是这个意思。所以通过这样的方式,就把矩阵B,相当于分解成了,特征值(对角矩阵) * 特征向量 了。np.eye(4) 去构建一个对角线上的全是1 的,初始化的4*4的,对角矩阵。这样就是上面我们说的特征值的定义,特征值,可以在特征向量方向上缩放矩阵.这里^对角矩阵,其实就是特征值,这个矩阵的对角有值,别的地方都是0。而样本数据,其实就是,一个个的矩阵,那么如果我们找到这些矩阵的。
2024-10-26 11:55:42
56
原创 人工智能_机器学习100_PCA数据降维算法_协方差和散度矩阵_深入理解_分析_协方差和散度矩阵计算过程---人工智能工作笔记0225
2.然后样本方差这里我们需要注意一下样本方差和全体方差的区别。所以如果用样本数据来计算,就会导致分子偏小,从而导致,整体的结果偏小,那么就需要让结果增大一些,所以/n的时候,就给n-1,设置了一个ddof,这个ddof就是这个1,自己可以调节,从而减小分母,让。用的样本而不是所有的数据,所以为了让方差的值,更接近,真实的,全部数据时候的方差值,可以看到这里,样本均值这里/n是对的,因为,这里用的是样本,样本不是所有的数据,后面会说,因为这里,我们获取的是列的均值,而,一行中的每列数据,应该减去这一行的。
2024-10-25 16:49:49
94
原创 Win10系统使用mstsc远程电脑的时候发现隔一段时间就无法使用剪贴板_rdpclip---Windows运维工作笔记055
然后我们再打开电脑的任务管理器，然后从任务管理器中去搜索一下，看看有没有rdp剪贴板程序。如果能找到这个程序的话，说明这个程序正在运行，如果没有找到的话，我们需要点击运行来启动这个程序，当然如果这个程序有的话也可以去重启一下，它可以先杀掉然后再启动一下。正常情况下，不管我一个电脑远程了多少台电脑，那么这些电脑之间都是可以使用粘贴板的，可以用来从一个电脑中截了图，然后粘贴到另一个电脑中。最近在使用温湿系统的远程桌面功能的时候发现，每当使用一段时间的时候，这个时候远程桌面功能的粘贴板就没办法使用了。
2024-09-28 12:32:30
315
原创 Win10系统插入带有麦克风的耳机_麦克风不起作用_解决方法_亲测成功---Windows运维工作笔记054
然后从弹出的对话框中，我们选中这个插孔麦克风，这个时候我们可以用我们的带有麦克风的耳机去说几句话，看一看有没有反应。但是手机跨屏输入的话，需要占用手机利用手机的麦克风来进行跨屏输入，非常的麻烦。如果有反应的话，那么恭喜你这个时候你就可以使用讯飞语音输入法去正常的时候文字了。找到这个软件以后，然后打开，然后在前面板的地方有个黑色的耳机插孔，我们点击它。今天我在使用讯飞输入法的时候，想通过讯飞的语音输入法来提高自己的输入效率。但是这个时候发现一个问题就是我插入我的台式机的是一个带有麦克风的耳机。
2024-09-28 12:24:15
374
原创 人工智能_机器学习099_PCA数据降维算法_SVD分解矩阵原理002_酉矩阵_共轭矩阵_全矩阵_符号翻转_奇异值分解代码实现---人工智能工作笔记0224
比如np.sign([1,2,-2,-0.5])得到的结果是[1,1,-1,-1]可以看到其实就是拿到的是符号。所以,我们得到的U E VT三个矩阵,其中西格玛 E,这个 一维的奇异值,他的值是从大到小排列的。可以看到是一模一样的,也就是pca特征值,特征向量算法,降维,其实就是用的标准差进行。然后再就是可以进行,符号翻转,其实就是拿到U矩阵中的,每个列中值最大的,获取到他的。如果把符号翻转这里去掉,就会导致,值是一样的,但是结果的符号就不一样了对吧.
2024-09-24 22:30:40
313
原创 人工智能_机器学习098_PCA数据降维算法_SVD分解矩阵原理001_数据分散程度_数据波动_标准差_方差_协方差_矩阵分解_散度矩阵_奇异值分解代码实现---人工智能工作笔记0223
4.进行归一化处理.这里有个无偏差,以及偏差 无偏差其实就是/n-1,适度缩小由于样本导致的偏差的 分母,从而,弥补,由于样本数据量不足导致的,结果偏小的情况. 偏差,就是不设置ddof,也就是直接/n,那么偏差就会大一些.身高,体重,年龄 18 75 23 ,这样一个样本数据,其中75体重,是一个特征,他可以有很多数据,比如75 65 等等,那么,这个特征的均值.就是。,也就是比总体标准差是偏小的,所以这个时候,给分母,减小一点n-1,这个时候,让样本标准差,增大一点,这样。
2024-09-22 23:18:56
81
原创 RuoYi-Cloud-Plus中ruoyi-monitor项目源码修改_界面修改_SpringBootAdmin源码编译修改_界面修改---SpringCloud工作笔记204
2.springbootadmin有自己的界面风格无法跟系统整体,风格融合,所以需要修改界面,ruoyi-monitor项目中,没有springbootadmin的源码,springbootadmin是以jar的形式导入到ruoyi-monitor中的.拿着打包出来的jar包,然后,替换掉,之前ruoyi-cloud-plus项目中,ruoyi-monitor子项目,引用的spring-boot-admin-server-ui-2.7.10.jar。
2024-09-14 18:37:19
193
原创 SpringBootAdmin源码修改编译002_踩坑记录一堆坑_记录过程_没有成功---VUE工作笔记0027
然后我们从其他spring-boot-admin-sample-custom-ui中找到这个autoprefixer组件,然后复制到,中的package.json中的这个copy-webpack-plugin 这个组件的版本,可以看到是5.1.2版本的.说[email protected]的版本 需要使用node 8 10 12 14 16 17的版本,而我安装的是。spring-boot-admin-server-ui项目中的package.json中去,然后再去执行。
2024-09-14 11:01:42
365
原创 springbootadmin源码编译修改001_node版本管理工具nvm_任意切换node版本_没有成功记录过程---VUE工作笔记0026
但是springbootadmin的源码编译很麻烦,主要是由于,springbootadmin-server-ui这个项目,因为他是一个前后端分离的。然后在pom.xml中去下载node和npm,然后执行命令去npm install 然后去编译,打包的过程.他编译的时候是使用Maven对vue项目进行的打包,会自动去下载node和npm对应的版本,然后执行命令,然后再去安装一个nodejs,去下载就可以了,直接安装,选择一个目录。打开settings.txt文件,然后,将上面的变量放到文件中.
2024-09-13 11:38:08
341
原创 NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南002---大数据之Nifi工作笔记0069
这里报错的这个包,单独找到,可以先去,右键pom.xml relaod project 导入一下依赖,然后再去,单独,使用右边栏Maven,package执行一下。Maven的本地仓库中,去搜索lastupdated这样的文件,就是下载了一半没下载完的,全部删除,然后重新下载.内存溢出了.这个就需要设置内存,在第一篇就已经说过了,设置Maven编译时候使用的内存设置大一些.可以看到这个地址,在里面搜索就搜到了,然后点击jar(361.9MB)去下载就可以了.如果依赖多次下载失败,那么,可以到。
2024-09-06 17:42:59
278
原创 NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
由于需要对NFI进行汉化,以及二次开发,首先要下载源码以后编辑通过,NIFI的源码,项目非常多,编译过程中需要编译超过570个jar包,同时编译过程很慢需要30多分钟.1-3.注意,使用Maven的阿里云的源,很可能下载不全依赖,导致失败,即使你科学上了网也是不行的,也会有个别的jar包依赖下载不下来,1.首先下载源码,就是上面提供的地址,这个是nifi-1.26.0的不是最新的源码,当然如果你下载最新的源码也是一样的.首先介绍一下,这个是一个公司根据nifi进行定制开发的,已经汉化,但是不能商业化使用.
2024-09-06 16:55:40
312
原创 KubeSphere核心实战_kubesphere部署es_02_使用kubesphere创建es工作负载_指定配置集_子路径_创建集群内部以及外网可访问服务---分布式云原生部署架构搭建050
弹出点击添加子路径,这里我们写入 elasticsearch.yml 这个表明,就是存在子路径,也就是说,只会把我们指定的只路径中的文件进行配置同步。usr/share/elasticsearch/config/elasticsearch.yml 复制过来,然后点击,右边的 长方形,然后。/usr/share/elasticsearch/config/jvm.options这个路径中去,其实就是对应的文件中去。可以看到同样也是,配置对应的/usr/share/elasticsearch/config/
2024-08-22 17:02:46
126
1
原创 KubeSphere核心实战_kubesphere部署es_01_使用容器创建es_具名挂载_使用kubesphere创建es工作负载_创建配置集_存储卷---分布式云原生部署架构搭建049
然后es-config这个是采用的是句名卷挂载,而不是文件夹挂载, 就是将/usr/share/elasticsearch/config 挂载到本地的es-config。-v表示存储卷的位置配置,就是本地的/mydata/es-01/data 挂载到容器中的 /usr/share/elasticsearch/config。/var/lib/docker/volumes/ 中自动创建一个文件夹,然后这个文件夹,宿主机上的,就自动跟容器中的对应的文件夹关联起来.
2024-08-22 16:43:26
312
原创 大数据平台集群部署报错_datax-admin服务连续打印错误日志_Datax连接Mysql报错_由于jdbc连接字符串导致_记录028---大数据工作笔记0188
我们做了测试.在mysql 5.7.35 中是有问题的 在mysql 5.7.35-log版本中就没问题。1.本次部署的时候发现,datax-admin服务中的日志,不停的打错误日志,导致日志体积迅速变大.这个链接地址主要是两个地方有问题,1.useSSL=true 需要修改成 useSSL=false。在这里添加上配置在seata-server.properties这个文件中进行配置.可以看到,提示说,可能IP 端口 用户名 密码错了,实际上这些都没有错误。添加上这个配置就可以了.
2024-08-20 16:56:44
114
原创 大数据平台集群部署报错_hostname修改不重启导致_hbase无法启动_8080端口和zookeeper占用的8080端口冲突_jar包启动很慢_记录027---大数据工作笔记0187
在部署大数据平台hbase集群的时候,本次发现两个问题,需要记录,以后部署的是,要注意.1.由于系统修改了hostname. vim /etc/hosts 文件.这里原来是host5 改成了hadoop2531,这种情况下要注意.必须重启,如果不重启,那么,hbase集群,启动的时候就会报错,找不到对应的地址了就.一定要保证:这里变成了,对应设置的主机名以后,再去配置启动hbase.2.上面的问题解决以后,启动zookeeper集群,然后启动zookeeper集群以后,然后再去启动hbase,发现也启动不起
2024-08-17 14:51:27
124
原创 KubeSphere核心实战_kubesphere部署redis02_创建redis现指定存储卷_配置外网访问服务---分布式云原生部署架构搭建048
如果我们把mysql的副本数量修改成3,比如说,这个时候,这3个mysql,会使用,同一个存储卷,就是我们之前创建的那一个。系统就会自动为,这多个redis副本去自动创建存储卷,这样,每个redis副本都有自己的存储卷,这种情况是比较好的.当我们开启多个mysql副本的时候,他会把数据,都存在我们之前创建的这个mysql-pvc存储卷中,这样是不合理的,这说明,我们创建工作负载的时候,现创建存储卷的话,那么,存储卷会和副本,绑定,也就是,每新增一个副本,就会为这个副本。
2024-08-17 14:29:17
207
原创 KubeSphere核心实战_kubesphere部署redis01_为redis指定配置文件_指定存储卷_配置服务---分布式云原生部署架构搭建047
可以看到启动命令就是redis-server 然后,对应的参数是/etc/redis/redis.conf。然后再去添加容器,这里从官网,输入redis,让他自己去搜索就可以了,可以看到,让后,也可以。然后我们再来,部署一下redis,可以看到,首先去容器官网去找到对应的redis的镜像然后。然后,挂载路径主要是,这里根据我们之前规划的,填写,读写,然后是容器中的/data目录。可以看到这里,我们选择配置文件是只读的,然后放到容器的/etc/redis文件夹下。
2024-08-17 14:27:26
256
原创 KubeSphere核心实战_kubesphere部署mysql有状态副本集03_新建集群内部访问服务_以及外网访问mysql服务---分布式云原生部署架构搭建046
但是我们选择外网访问,选择NodePort的方式的时候,点击创建报错了,可以看到。可以看到最终,我们就做了两个服务,一个可以在集群内部访问,一个在外网也可以访问.左边点击服务是自动生成的,可以看到这个服务名称是his-mysql-glgf。可以看到现在我们就是创建了两个服务,第一个服务,可以使用域名访问。对于集群外部可以访问的,在集群内部,外部都可以访问,可以看到。可以看到这里,在服务中默认有个生成的服务,是自动生成的。可以看到也有说明,集群不为服务生成IP,只在内部访问。
2024-08-06 18:10:42
106
原创 KubeSphere核心实战_kubesphere部署mysql有状态副本集02_给mysql应用配置配置集_配置集修改热更新_创建mysql工作负载---分布式云原生部署架构搭建045
msyql本身不支持,因为配置文件变化,以后,他不会自动重启,让新的配置文件生效,这个是遗憾的地方。我们进入容器内部去看看,可以看到,进入到/ect/mysql/conf.d文件夹,就可以看到。然后如果我们,进入到配置中心的配置这里,我们点击,我们创建的mysql-conf配置集。点击以后,然后可以看到,我们可以选择,我们之前创建的mysql-conf这个配置集。然后保存以后,他会自动同步到使用这个配置集的,容器中去,比如,我们等一会去。我们点击开我们创建的mysql应用,然后可以看到有个重新部署,
2024-08-06 18:09:19
102
原创 phoenix连接hbase报错Can not resolve hadoop120, please check your network_记录026---大数据工作笔记0187
其实做法跟这个博文中写的一样,其实就是删除原来的/hbase的配置,然后,重新启动hbase注册到zookeeper就可以了。然后再去先关闭hbase /data/module/hbase-2.4.11/bin/stop-hbase.sh。重新去开启,首先开启zookeeper,然后再去开启hadoop,然后再去启动hbase,然后再去连接看看。我查询了,hadoop的安装目录,hbase的安装目录,zookeeper的安装目录,都没有查询到.那么,hadoop120是在哪个地方呢?
2024-08-05 17:30:40
305
原创 KubeSphere核心实战_kubesphere部署mysql有状态副本集_创建mysql存储卷_创建配置集_拉取容器mysql镜像_配置应用占用cpu和内存---分布式云原生部署架构搭建044
然后我们选择读写的方式 挂载到容器的/var/lib/mysql 就是存储mysql数据的地方对吧.配置文件是/etc/mysql/conf.d这个文件,这个,我们可以用k8s中的配置集来做。首先我们来到工作负载,因为我们部署的mysql是有状态副本集,所以这里我们点击创建。我们看一下,我们把/var/lib/mysql 也就是mysql存储数据的目录。然后再去下一步,挂载存储,这里,我们点击添加存储卷模板,表示重新创建存储卷,然后,再去填写,比如,我们限制,mysql 占用 几核心的cpu。
2024-07-26 15:12:52
500
原创 KubeSphere核心实战_使用kubesphere给kubernetes部署中间件_步骤说明_kubesphere_工作负载_服务_存储管理_应用路由说明---分布式云原生部署架构搭建043
然后我们再来看对于端口,开放,如果type是clusterIP那么开放的端口,只能在集群内部可以访问,不能对外访问。首先去创建工作负载,其实就是pod,然后再去创建服务service,决定是集群内访问,还是集群外也可以访问。然后我们再来看,部署完了以后,就可以看到部署的应用内,在容器组中显示,其实就是对应了pod。创建好以后,他会自动的,帮我们创建,工作负载,然后创建 服务 然后再去创建 应用路由。然后在kubesphere中,对应服务这块,就是服务这里,可以看到可以创建服务对吧。
2024-07-24 11:25:42
7566
原创 KubeSphere核心实战_kubesphere多租户_添加企业空间_创建项目_给项目邀请成员---分布式云原生部署架构搭建042
可以看到在这个项目里面,有很多的功能,他可以用,比如有应用 服务 工作负载 应用路由等等.可以看到,进入这个项目以后,下面有个项目设置,点击项目成员,点击邀请,就给为这个项目邀请成员。可以看到邀请进来,但是做为wuhan-viewer角色对吧,观察者,只能看对吧.然后我们再去登录pm-wang,王总监,将这个客户wang添加到,具体的项目中去。big-li登录去看看,可以看到,由于pm-wang 王总监把他邀请进了。然后去点击右边的邀请成员,把wuhan-boss邀请进来,但是他是。
2024-07-24 11:24:39
7334
原创 KubeSphere核心实战_kubesphere多租户使用_kubesphere_企业空间划分_添加企业空间成员_设置企业空间角色---分布式云原生部署架构搭建041
然后可以看到,现在在wuhan这个企业空间中,就有 wuhan-boss 和 boss-li 这两个成员了。可以看到登录以后,可以看到,shenzhen-boss,也可以看到shenzhen这个企业空间。然后wuhan-boss这个账号,我们再使用这个账号,去在邀请成员去,给wuhan。wuhan-boss这个账户,看看wuhan企业空间,可以看到,在企业成员中,有。这个时候可以,使用wuhan-boss账号,把boss-li移除掉,是可以的。现在企业空间设置中,的企业成员,只有boss-li对吧。
2024-07-23 19:44:38
7446
原创 KubeSphere核心实战_kubesphere多租户使用_hr账户_创建其他用户_入职普通用户_boss用户---分布式云原生部署架构搭建040
然后我们来看,这个划分,首先,看看kubesphere,有,企业管理员 workspaces-manager :这个相当于一个集团的总公司领导,他可以来创建,比如武汉分部,深圳分部等.然后我们继续看,现在我们需要一个boss-li账户,这个是整个集团的boss,可以添加,分部,比如深圳分部,济南分部等等..现在我们有了boss-li这个总boss,有了几个企业空间,有了hr-zhang,人力资源,那么现在。首先添加wuhan-boss,这个主意,要使用hr-zhang这个账户登录以后,然后来添加。
2024-07-23 11:45:46
2254
原创 KubeSphere核心实战_在Centos7.9使用kubekey一键构建k8s集群完整平台_多节点自动化部署kubesphere_k8s集群---分布式云原生部署架构搭建039
可以看到其实就是指定了配置文件,kubernetes的版本和kubesphere的版本。可以看到我们有三台机器,并且内部互通.点击复制标志可以复制它的内网的ip地址。进行一键部署的,现在我们准备3台机器,用kubekey,部署k8s集群.上一节我们在一个单节点上部署了kubesphere,使用kubekey。可以看官网,有all in one 就是所有的都装在一个机器上.也是首先执行上面的这两个命令,下载配置文件。可以看到安装步骤,跟着做就可以了.然后可以看到有个多节点安装,打开。连接上三台机器,首先。
2024-07-22 08:58:14
2130
原创 KubeSphere核心实战_在Centos7.9/linux单节点使用kubekey一键安装完整平台_启用插件_一键安装docker_k8s_kubesphere---分布式云原生部署架构搭建038
现在我们在单个linux节点上部署一个完整的,包含k8s,docker,kubesphere的环境,可以看到,正在running,但是还有kubesphere-system 两个在创建容器中,等等。现在我们安装了kubesphere以后,但是这个功能少很多,很单一,但是后面可以开启其他功能。但是我根据需要,安装了一个全功能版本的kubesphere,开启了很多功能,安装需要10几分钟,需要等, 提示是否安装,就输入yes。可以看到注意下载以后,记得,给kk,添加上执行权限.
2024-07-22 08:55:07
135
原创 KubeSphere核心实战_kubesphere全功能安装_启用kubesphere的热插拔插件---分布式云原生部署架构搭建037
这两个文件,上面是直接使用kubectl apply 去应用了,我们先下载,因为直接从官网下载可能下不下来,因为网络的原因.这个上一节已经安装好了,这个千万不要打开.打开了,他会去官网去下载metrics_server,会下载不下来,由于网络的原因。可以看到这里,首先storageClass,后面提示,说如果没有默认的,就写上自己的我们已经安装了default的存储类型。kubedege这个是边缘计算相关的,这个我们暂时打开也可以,因为我们没有边缘计算的设备.
2024-07-21 23:05:41
523
原创 KubeSphere核心实战_安装默认存储类型_实现pv和pvc存储空间动态创建_安装Metrics-server_动态监控集群以及pod_内存及cpu资源占用情况---分布式云原生部署架构搭建036
可以看到,在/nfs/data 目录下,创建一个不安全的,可读写的,可异步的不是root也可以使用的,其他存储空间,这个配置写入到。然后我们再去,做一下同步,其实就是做两个nfs的客户端,上面我们做的是nfsserver,现在我们。之前我们创建pv和pvc的时候,我们是用命令,手动去创建的,我们事先创建好一些存储空间,可以看到安装,其实也就是,用一个配置文件,之间在k8s中进行apply就可以了,安装这个可以来监控我们的集群,以及集群中的pod的,内存和cpu等的,占用情况.
2024-07-19 10:58:27
4099
原创 KubeSphere核心实战_KubeSphere平台安装_在kubernetes上安装kubesphere_安装k8s集群_加入worker节点---分布式云原生部署架构搭建035
这个时候,首先要找到k8s master节点的ip地址,额可以看到,ip a查看,找到以后.然后现在我们安装了docker,然后安装了基本环境,然后再开始安装kubernetes。可以看到,kubeadm ...这个就是,构建多个master节点,构建高可用的.然后我们再来看,上面我们记录的关键信息,初始化master节点的时候。然后我们再来青云看一下咱们的服务器,可以看到,他们所属的网络。可以看到,创建了很多的pod,等待这些pod创建完成.去执行. 可以看到就是,创建了.kube文件夹,然后。
2024-07-19 10:58:10
162
原创 KubeSphere核心实战_KubeSphere平台安装_简介_升级配置与重置系统_在kubernetes上安装kubesphere_安装k8s集群_基础环境---分布式云原生部署架构搭建034
这个很强大,可以看到支持多租户,并且多集群,比如我们可以建一个dev开发的k8s集群,建一个test集群,建一个prod集群等。安装方式有三种,可以看到,首先在如果你已经有了一个k8s的集群,那么你想用kubesphere管理起来,那么需要安装上。可以看到删除旧的docker以后,然后,把剩下的命令,进行复制,回车直接三台机器全部执行就可以了.可以看到选择三台机器,然后,更多操作中找到重置系统,然后输入密码就可以了。然后再去调整机器的配置,因为需要安装很多东西,所以可以看到上面的配置.
2024-07-18 11:30:49
387
原创 k8s核心操作_存储抽象_K8S中使用Secret功能来存储密码_使用免密拉取镜像_k8s核心实战总结---分布式云原生部署架构搭建033
可以看到这个是镜像内容,注意这里面没有引入secret,上面的配置文件引入了,可以先去掉.看效果。比如我们在公共仓库中个guignginx仓库,我们看到右边,显示他现在是。可以看到拉取镜像的时候报错了对吧,说access denied 因为镜像是私有的.然后下面我们会看一个更强大的,工具,可以进行完全在线,将监控等等,都统合起来。我们现在是从公共仓库拉取的,如果我们从私有仓库拉取,有密码。比如我们有个pod,他的镜像,如果是需要密码的,那么。
2024-07-17 17:03:31
8743
原创 k8s核心操作_存储抽象_K8S中使用ConfigMap抽取配置_实现配置热更新---分布式云原生部署架构搭建032
现在有个问题,是上面我们利用pv和pvc 就是持久卷 以及 持久卷申请,实现了对存储的,pod删除以后,对其使用的存储空间也进行了删除,那么还有个问题,对于redis这种我们希望,他的配置也管理起来.这个配置就指向了name是redis-conf的这个配置,可以看到,取他的key是redis.conf path也是redis.conf。这里就是要把key:redis.conf的内容,拿过来,然后挂载到,path:也就是redis.conf的路径下,这个路径。
2024-07-17 15:45:27
8730
原创 使用NIFI连接瀚高数据库_并从RestFul的HTTP接口中获取数据局_同步到瀚高数据库中---大数据之Nifi工作笔记0067
请求,可以看到这个时候就需要首先,在上层,去连接一个GenerateFlowFile这个处理器,数据从这里流过以后,估计还是有问题,应该是CustomText,写入了json,然后需要用表达式提取里面的内容把,后面有了进展会写在这里。然后还可以用InvokeHTTP处理器来进行,获取get或者post,或者put,或者delete。其实,只要配置好了链接的,连接字符串,和驱动,任何支持JDBC的数据库都可以连接的.然后,去更新值,继续获取数据,是这个思路,后面实现了会补充上.
2024-07-16 10:04:08
253
原创 k8s核心操作_构建一键上云002_K8S+harbor_部署微服务_WebSocket使用_K8S前端配置_XXLJob配置_微服务中Nacos配置---分布式云原生部署架构搭建031
再来看这个front.yaml 上面是内容.这些yaml是用来部署k8s的deployment的,这些的使用是在.这些yaml文件好像都没有用到,都只是,前面的脚本就解决了,这里把。这里还有一个backend-svc.yaml文件。配置文件也都保留到这里了,以便用到的好参考.
2024-07-16 10:03:39
2341
原创 k8s核心操作_构建一键上云001_K8S容器+harbor容器本地化搭建云原生环境_一键部署SpringCloud Alibaba 分布式微服务+Vue前端---分布式云原生部署架构搭建030
然后这里有个build.sh脚本,这个就是用来,构建镜像,并且把镜像推送到harbor仓库,然后再把镜像,部署到k8s中的,一个指定的namespace中。注意这个打包的镜像,其实就是一个nginx,只不过这个nginx,携带了,前端的代码,在自己的/usr/share/nginx/html文件夹中.并且可以看到,把dist目录,中的内容,复制到了nginx的 /usr/share/nginx/html目录中了.然后看一下这里,前端部署依赖使用的,是nginx,因此,依赖了nginx.
2024-07-15 10:19:30
216
原创 k8s核心操作_存储抽象_K8S中的持久卷与持久卷申请_PV/PVC理解与搭建_解决联动删除动态存储管理---分布式云原生部署架构搭建029
然后当pod需要存储的时候,会写一个PVC ,PV申请,提交以后,会根据这个PVC来分配PV,找一个比较合适的,如果需要1G,看看有没有1G的pv,如果有就分配,没有就,分配一个比如10G的也一样,但是他只占用1G的空间,其他空间还可以给其他PVC用.可以看到我们可以有个PV池,这个PV池中,有各种的PV,有的PV大小是1G,有的是20MG,有的是5G,而这些PV,分布在不同的机器中。然后当我们删除pod的时候,他申请的pvc也可以一看删除掉,而pvc记录了,用的是哪块pv所以就可以,将他使用的文件。
2024-07-15 10:17:56
174
原创 k8s核心操作_k8s中的存储抽象_基本概念与NFS搭建_Deployment使用NFS进行挂载---分布式云原生部署架构搭建028
这个就是将172.31.0.4:/nfs/data nfs server 中的这个节点中的/nfs/data这个文件夹 挂载到/nfs/data 本地的node1 的这个目录上去。上面/nfs/data 是NFS主节点创建的目录, 然后/bak/data是在 NFS的从节点node1 node2上的目录,实际上。NFS的主节点master节点,创建一个目录/nfs/data 然后我们再在node1,节点,node2节点,分别。
2024-07-12 10:28:36
4332
原创 k8s核心操作_Ingress高级功能_地址重写功能_流量限制功能配置_k8s服务网络模型总结---分布式云原生部署架构搭建027
然后流量经过ingress层,到达 service-a...等等 层,其实就是根据我们配置的ingress的规则,来调用不同的service对吧.可以看到是初始化的时候分配的,pod-network-cidr=192.168.0.0/16是这个网段。也就是当在浏览器访问左边的地址的时候,实际上是访问的右边的地址,这个就是重写,我们去试试。可以看到整体,首先流量可以经过一个LB,负载均衡,这个可以是自己配置的,可以是购买的。nginx的默认内容了.可以看到上面的现象对吧,多刷新几次,都是显示的。
2024-07-11 09:32:33
174
原创 k8s核心操作_Ingress统一网关入口_域名访问配置_ingress域名转发规则配置_根据域名访问不同服务---分布式云原生部署架构搭建026
可以看到 出现了ingress-nginx 的service,在ingre-nginx这个命名空间中,有两个,一个是。然后我们去编辑一下,我们添加一个nginx,让访问demo.atguigu.com的时候,访问/nginx 这个路径。包含了,hello.atguigu.com 和 demo.atguigu.com两个 域名对吧。然后修改了demo.atguigu.com:31405/nginx 转给了nginx-demo。
2024-07-11 09:31:51
330
nifi-web-ui.zip nifi开源项目源码修改后的版本1.26.0的版本 数据清洗中心
2024-10-25
瀚高数据库连接开发工具-2024-hgdbdeveloper.zip
2024-06-29
datax插件-瀚高数据库支持插件-highgowriter.zip
2024-06-29
datax插件-瀚高数据库同步支持插件-highgoreader.zip
2024-06-29
瀚高数据库迁移工具2024版.zip
2024-06-12
MSVCR120.dll缺失-瀚高数据迁移工具修复DLL.zip
2024-06-12
Semantic-Kernel-MyPlugins.zip
2024-04-10
highgowriter-highgoreader-dataxcode.zip
2024-04-07
docker-compose-linux-x86-64-v2.26.0.zip
2024-03-29
docker-compose离线版.zip
2024-03-29
ChatGLM-6b-int4基础模型文件.zip-这个是除了比较大的文件的其他文件-其他大的模型文件可以在清华云下载
2024-02-29
nifi-p12-store.zip 这个文件就是nifi-1.23.2今年最新8月份出的最新版需要的加密文件
2023-10-08
瀚高DB企业版最新版连接操作工具2023.zip
2023-07-21
瀚高DB企业版最新6.0.4官方安装教程.zip
2023-07-21
NIFI-MySqlToMySql增量同步数据实时采集-实现了日期类型-以及空值处理-插入已存在变更新-更新未存在变插入.zip
2023-06-20
NIFI1.21.0-大数据同步处理模板-MysqlToMysql增量同步-单表-处理日期-空值数据.zip
2023-06-20
NIFI1.21.0-Mysql和Postgresql到MysqlHbase-全量指定库和表同步到Mysql和Hbase.zip
2023-06-20
NIFI大数据处理-PostgresqlToMySql指定表多表-CDC增量数据实时同步.zip
2023-06-12
K线理论-付费课程-实战经验-总结学习手册-2023-05-29.zip
2023-05-29
NIFI大数据模板-MySqlToPostGresql数据分页实时采集-带分页.zip
2023-05-25
NIFI大数据模板-HbaseToMysqlByPhoenix-实时数据同步带分页.zip
2023-05-25
NIFI模板PostGreSqlToHbaseByPhoenix-数据从PostGresql实时同步到Hbase-带分页.zip
2023-05-25
NIFI大数据模板-PostgresqlToHbase数据实时采集-带分页.zip
2023-05-22
大数据Nifi处理-MySqlToSqlServer数据分页实时同步.zip
2023-05-19
MySqlToHbase数据分页导入到Hbase.zip
2023-05-16
大数据处理NIFI模板-MySqlToMySql增量数据实时同步-利用Binlog实时同步数据.zip
2023-05-06
Nifi模板-PostGreSqlToMySql数据分页实时采集-带分页.zip
2023-05-06
2023自己实操-验证过的-通达信公式-胜率很高-神技-趋势+底部钝化+底部结构+选股+风口-一整套-.zip
2023-04-28
整理了好久-2023最新Java面试题-如果你在找工作-希望能帮到你了
2023-04-28
2023-04-28最新-自己封装整理-可直接使用-亲测可用-多模态AI合集-ChatGPT4-ChatGpt3.5.zip
2023-04-28
大数据Nifi模板-Mysql数据分页同步-实现了分页功能-MySqlToMySql数据分页实时采集-带分页功能.zip
2023-04-24
大数据nifi模板,用来实时从mysql数据中读取数据到另一个mysql的数据库中
2023-04-24
文心一言解读-及应用方向解读2023-04-19PDF.zip
2023-04-19
ChatGpt2023年研究框架-2023-04-19.zip
2023-04-19
nacos-server-1.1.4 这个下载以后可以直接使用
2023-03-16
xsync 脚本将文件同步到大数据集群中的所有机器
2023-02-23
利用MybatisPlus来实现对表的水平分表,全自动,可以首先判断表是否存在,不存在创建表
2022-08-22
idl编译jar包模板工程.zip
2022-08-04
在非spring注解类中使用spring容器中的bean_普通类中使用yml配置文件中的配置信息
2022-07-25
Quartz动态创建Job,Job中含有初始化参数,执行job的时候报错,怎么解决
2022-06-17
一个软考高级,信息项目管理师的问题,想不明白..希望大家来解惑
2022-04-08
android中intent传值的问题,数据都串了,很奇怪
2021-06-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人