Posts
DuckDB 图计算：人际关系连通分量三种实现
社交关系天然是一张图：A 认识 B，B 认识 C，则 A 与 C 虽无直接边，也同属一个圈子。把「能通过认识关系串起来的人」收成一组，本质就是无向图上的连通分量（Connected Components）。 本文用同一套样例数据，对比三种在 DuckDB 内落地的做法：纯 SQL 递归合并、Onager 连通分量、DuckPGQ 弱连通分量。 业务场景…
DuckDB Statements
官方DOC struct and unnest recursive unnest RECURSIVE split write csv read csv read text xlsx write xlsx read xlsx create table insert into recursive query regexpmatche date/time…
SQL高级语法
递归 MySQL MySQL在8.0版本支持了RECURSIVE可以用于递归查询 生成5行数据 执行结果 |n| |-| |1| |2| |3| |4| |5| 生成最近30天的日期 执行结果 |date| |-| |2024-01-23| |2024-01-22| |2024-01-21| |2024-01-20| |2024-01-19| |……|…
Spark基本知识
架构 组件 作业组成 术语 |术语 |含义 | |---|---| |Application|基于Spark构建的应用程序 | |Application jar|应用程序Jar包，包含程序代码跟三方依赖，不包含Spark和Hadoop相关Jar | |Driver Program |Driver程序。创建SparkContext及main函数的程序 |…
MySQL Statements
官方DOC SQL 示例 USER Statement CREATE Examples - 创建用户test，主机localhost，密码123456 - 创建用户并标记密码为过期，需要在第一次登录后修改密码 - 创建用户使用sha256password作为身份验证插件，密码过期时间为180天 ALTER Examples - 修改用户密码 RENAME…
大数据架构
大数据架构 大数据架构通常用来解决大量的(Volume)、高速的(Velocity)、多样化 (Variety) 的数据引入、处理和分析等方面的问题 ||| |-|-| |大量 (Volume)|大数据的“大”首先体现在数据量上。这意味着您需要处理海量、低密度的非结构化数据。这些数据的价值可能是未知的，例如 Twitter…
Mirror Site
镜像类网站 企业 - 搜狐 搜狐镜像 - 网易 网易镜像 - 阿里云 阿里云镜像 - 淘宝 淘宝镜像 - 华为 华为镜像 大学 - 清华大学 - 浙江大学 - 中国科技大学 - 北京交通大学 - 北京理工大学 - 兰州大学 Apache 历史归档 - 官方存档 - 阿里镜像 - 华为镜像 Maven 阿里镜像 NPM 淘宝镜像 - 临时使用 - 永久使用…
Git Operators
基础 - 设置用户与邮箱 - 初始化仓库 - 状态 - 添加文件到提交列表 - 从提交列表删除 - 文件撤销更改 日志 - 常用 - git log --pretty=format 常用的选项 | 选项 | 说明 | | :---- | :-------------------------------------------- | | %H |…
Netflix Recommendation
import './index.css' import deckTheme from './theme.js' export const theme = deckTheme <div class="home-page" Netflix与推荐系统 <img style={{width: '63%', position: 'absolute', right:…
书签
大数据 - 大数据学习笔记 大数据学习笔记 HBase - HBase HBase 官网 - Jira HBase Jira 地址 Kafka - Kafka Kafka 官网 - Jira Kafka 官网 Jira 地址 Flink - Ververica Flink 教程 - Ververica Flink 教程 短链 - Flink Flink…
Flink内存配置
Flink内存分配总体上可以从堆内堆外、JVM占用和Flink占用来进行划分，对这两种划分进行解展示，详细信息也可以参考Flink内存介绍官网进行查看。 下图可以点击箭头进行切换 JVM 参数 | JVM Arguments | Value for TaskManager | Value for JobManager | |…
Flink基本知识
Flink 基本概念 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 名词介绍 Flink官网: 名词介绍 整体组件 下面的图片可点击模块跳转至官方说明 <div <center <img…
Flink环境搭建
安装Flink 官方介绍地址 - 下载Flink 下载Flink并解压，Flink 官方下载地址 - 以本地模式启动 - 执行以下命令启动 - 打开网址http://localhost:8081/可以查看到flink web页面 - 使用flink官方示例 - 关闭集群 Flink 命令 bin/flink - run - list - stop -…