在Spark中，广播变量（Broadcast Variables）是一种用于将大型数据集或对象有效传递给所有集群节点的机制。本文将介绍如何使用广播变量以及何时应该使用它们，还...
发简信
IP属地：陕西
-
Spark中广播变量的使用: When,Why,How
-
M1 Apple Silicon（ARM）中安装Python3.8以下版本
问题描述 在conda中安装python3.7出现错误如下： 问题原因 问题在于 Apple Silicon 没有 3.8 以下版本的 Python 原生版本。作为一种变通办...
-
Streamlit如何跳转第三方页面实现登陆鉴权本文关键字：streamlit python cas authentication multi-page Python可以使用streamlit框架实现0前端代码，全栈开发...
-
python nebula图数据库常用操作前言 使用场景为：依赖NebulaGraph3.2.0图数据库，对一些数据节点做关联拓线查询，比如输入IP, 可查询展示该IP归属的地理位置、关联的域名、并继续往下根据域名查...
-
使用dokcer镜像快速搭建ntp服务器实现时间同步
使用镜像搭建ntp服务器，并在客户端调用进行定时时间同步。 一、 ntp服务器搭建 查询到有现成的ntp服务器docker镜像， 并配有完整使用方法，参考链接如下： http...
-
PySpark Dataframe写入ES、Redis
一、Dataframe写入Elasticsearch 1.1 依赖 根据实际使用的spark版本及ES版本选择合适的包，在提交任务时指定--packages参数即可。 exa...
-
RabbitMQ在Python中的使用：pika模块再一次把RabbitMQ的架构图拿到这里来： 其主体分为三个大分部： RabbitMQ Server：它是一种传输服务，用于维护数据从生产者到消费者间的路线，保证数据能按指定...
-
PySpark任务开发-全场景配置参考示例
前言 示例中基于spark版本：2.4.5 spark3.0后的 Dataframe使用语法与2.x版本差异较大，需要注意查看官方文档且不同版本spark需要选用对应的spa...
-
go语言resty库并发爬取bing大图实战前言 最近开始好好在看go语言，拖延很久终于把小伙伴给的《Go语言实战》书看完了，但是还没实际上手操作过，想着当年学python的时候也是从爬虫实战开始的，那就先写个go的并...
-
我是写入的数据库 如果你需要导出文件还需要多几行代码把结果写到文件 例如Excel
使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和python多进程、多线程代码详解)
2019.3.20更新（将代码升级为非阻塞式多进程，效率极大提升）2019.6.28更新 （将代码模块化，复用性更强，使用更高效的线程池进行爬取） 之前写爬虫对链家某地区全部...
-
免费用户每日请求量是有限制的 再多并发最后获取的总量也不会超过限制量
使用高德开放平台api批量爬取所需经纬度及位置信息(平台教程和python多进程、多线程代码详解)
2019.3.20更新（将代码升级为非阻塞式多进程，效率极大提升）2019.6.28更新 （将代码模块化，复用性更强，使用更高效的线程池进行爬取） 之前写爬虫对链家某地区全部...
-
多个判断输出可以多用几次if 就像if a
== 1: do something end if; if a
== 2: do something end if;…Python+docxtpl+plotly实现模板word文档图表生成
依赖 关于依赖包的安装请看文档 docxtpl文档地址: https://docxtpl.readthedocs.io/en/latest/[https://docxtpl....
-
我自己的暂时没有发demo，docxtpl库里面本身包含了一些demo可以下载。图片没写入也没报错的话检查下返回数据和渲染模板格式是不是正确的呢
Python+docxtpl+plotly实现模板word文档图表生成
依赖 关于依赖包的安装请看文档 docxtpl文档地址: https://docxtpl.readthedocs.io/en/latest/[https://docxtpl....
-
应该是python的pep8格式规范没有符合 如果是pycharm解释器的话 鼠标指上去会有格式提示
Pycharm配置Docker解释器
在上文：https://www.jianshu.com/p/f6e02bfc18b4中实现了Pycharm远程连接到Docker服务，接下来为pycharm配置Docker的...
-
Gitlab-CI使用及.gitlab-ci.yml配置入门一篇就够了Gitlab-CI/CD 持续集成测试篇 一、 Gitlab-CI/CD使用场景 首先，公司使用Gitlab作为工作仓库进行代码发布及版本控制，Gitlab内置了CI/C...
-
Python+docxtpl+plotly实现模板word文档图表生成
依赖 关于依赖包的安装请看文档 docxtpl文档地址: https://docxtpl.readthedocs.io/en/latest/[https://docxtpl....
-
使用MongoDB地理空间索引2dsphere聚合附近的文档并按距离顺序输出
基于MongoDB数据库，实现一个后端分页查询接口，输出指定坐标点附近的文档，并计算距离并返回。类似地图app基于自己的位置查询附近的位置，并按距离从进到原排序。 要最高效的...
-
这里的‘所在行业’是index，使用sort_index()可以按索引排序
pandas中常用排序处理方法（Series与DataFrame）
介于自己经常忘掉pandas的数据排序操作，这里做一个常用方法的整理，示例数据使用的知乎数据： 先导入并用groupby分别生成一个Series和DataFrame示例数据：...
-
jsonschema+装饰器 实现更简单的python参数校验
作为一个后端开发人员，永远不要相信你的用户输入，也不要相信自己~所以，参数校验是一个非常重要的环节，千万千万不要忽视。最近也涉及到很多需要严格参数校验的接口开发工作，之前使用...