1.导入数据 可以从多个源导入数据 2. 数据清洗 如果数据需要处理和清洗使用Transform 3. 建立表之间的关系 一般power BI 建立的关系都是错误的，需要我们...
IP属地：湖南
-
-
-
AZURE Functions app
1.课程地址 Azure Functions New Programming Model V2 for Python )[https://www.youtube.com/wa...
-
Data Flow SCD Type 21.基础版本只更新一个表 创建一个sql表，用来存储数据Fifa数据 具体流程image.png①创建scd的参数；②分别创建两个source，一个是读取db里的旧数据，一个...
-
ADF interview questionsADF How to Remove Duplicate Records in Azure Data factory | ADF Interview Questions & A...
-
DBT project 11. 初始化dbt项目，将所需的表加载到staging里 1.安装项目所需要dbt包 安装所需要的包，在dbt项目的根目录，创建`packages.yml 安装包 2.使用c...
-
Spark数据清洗合集（最新）
1.根据blolb路径读取数据 文件路径：都是位于blob里 读取数据，添加配置,推荐这种方法读取，其他的有可能不能读取delta数据 2. 将df框架改为临时表，使用sql...
-
打造Windows环境下的docker:airflow_dbt_snowflake方法1：直接airflow环境里安装dbt，映射本地dbt文件到airflow环境下 1. 首次加载官方的airflow镜像 1.官网下载最新版本的airflow的docke...
-
-
Pyspark(最新)
1.文件挂载和文件操作 1.1 挂载mount blob source里的内容source = 'wasbs://<container名称>@ .blob.core.wind...
-
Azure动态sql1. 动态的select 语句 如果是在动态的参数是Query类型且有字符串，直接将动态的参数写成@{activity(xxx)}，需要使用大括号image.png 注意：1...
-
-
DBT(Kahan)1.创建项目 1.1 创建多个项目 这次我们不使用命令行配置，直接更改profiles.yml 在profiles.yml新建一个环境dbt_kahan，项目里的yml和pr...
-
Python提高（最新）
0. Pipvenv虚拟环境 安装pipenv 查看本地python的版本 3.进入到项目文件夹，使用指定版本的python创建虚拟环境 该文件夹执行pip list，可以看...
-
DBT(1)(最新)Words scalable 可扩展wrangle 处理wraps up 包括procurement 采购hardware 硬件hight analytical worklo...
-
Snowflake（3）
1.DDL 1.1 warehouse command create warehouse suspend warehouse resume warehouse show al...
-
SQL 每日一题(最新)0.知识补充 begin end if else 1.查询既学过01也学过03的课程的学生ID 2.取price最大的一行的所有数据 注意:方法2和方法3本质上是一样的 统计...