240 投稿
编排调度
收录了17篇文章 · 3人关注
  • Resize,w 360,h 240
    开源数据流框架之luigi介绍

    一，介绍 Luigi 是一个 Python 模块，可以帮你构建复杂的批量作业管道。处理依赖决议、工作流管理、可视化展示等等，内建 Hadoop ...

    0.1 惊穹 0 1
  • 大数据Hadoop工具python教程9-Luigi工作流

    管理Hadoop作业的官方工作流程调度程序是Apache Oozie。与许多其他Hadoop产品一样，Oozie是用Java编写的，是基于服务器...

    1.7 python测试开发 0 5
  • Resize,w 360,h 240
    luigi记录（1）

    基础Task每个任务模块以class的形式存在，继承luigi.Task class TestTask(luigi.Task): //任...

    _Megamind_ 0 0
  • Resize,w 360,h 240
    利用luigi建立流程化的分析脚本

    前言 在生信的领域中，无论是哪一个领域的事情，其实在大多数的时候都是遵循一个流程进行的。包括其中gatk所推荐一些成为Best-practice...

    0.1 栽生物坑里的信息汪 1 1
  • airflow高可用（HA）环境搭建

    简述 前端时间尝试着搭建了airflow的高可用（HA）环境，为避免自己遗忘，现将安装过程整理成文档。公司环境没有外网，只是配置了本地yum源，...

    0.7 samsing 0 15
  • Resize,w 360,h 240
    Airflow部署-从安装到Task创建

    环境配置 Ubuntu Python 2.7 安装步骤 设置基础的默认路径：export AIRFLOW_HOME=~/airflow,这是将默...

    0.2 走虾观花 0 2
  • airflow

    下载安装airflow 使用pip 安装 pip install apache-airflow 将默认的数据库sqlite 改为mysql 如果...

    eleven_a1dc 0 0
  • Resize,w 360,h 240
    airflow 介绍

    声明：本文转自我的个人博客，有兴趣的可以查看原文。转发请注明来源。 最近工作需要，使用airflow搭建了公司的ETL系统，顺带在公司分享了一次...

    1.3 此星爷非彼星爷 3 19
  • Resize,w 360,h 240
    Airflow使用本地时区（修改源码）

    在最近的工作中，涉及到很多的数据流程，需要去维护和监控，耗费了不少的人力，但是效果却不理想。数据接入作为工作中基础的一环，数据接入的可靠性和稳定...

    没有格子衬衫的程序员 0 0
  • airflow简介及使用场景

    更多airflow资料，可查看：airflow从入门到精通学习笔记系列 airflow是什么？ airflow是Airbnb开源的一个用pyth...

    小林帮 1 0

专题公告

任务编排和调度，airflow，Luigi