Base64编码和解码原理及模块应用

背景介绍

  • base64的作用是以可见字符的形式对非纯文本文件进行编码转换, 简而言之就是用可见字符集中的字符替换原有的二进制文件.

  • base64编码之所以叫base64是因为这个<可见字符集>是由64个可见字符构成.例如:

    • ['A', 'B', 'C', ... 'a', 'b', 'c', ... '0', '1', ... '+', '-', '/']

工作原理

  • 对原有二进制数据进行分组, 分组方式为第三个Byte为一组, 也就是说一组为24个bit.
  • 对每组的24个bit(3Byte)再进行分组,分为4组, 每组6个bit.
  • 因为每组是6个bit, 那么6个bit的二进制序列最多表示64种可能性, 正好由我们的<可见字符集>中的字符表示每种序列.
  • 如果原有二进制数据不是3Byte的整数倍, 那么剩下的1个或2个byte 我们使用\x00进行补充,然后再蚝编码, 我们会发现行尾加上一个或两个= 号,代表表示补充了多少字节\x00
base64分组示意图

代码示例

  • 编码
import base64

#如果有中文,那么只能入到字符串中, 不可是直接b'Hello,大亮'
a_str = 'Hello, 大亮'
#纯ASCII字符可以直接以字节码的形式输出 b'Hello, Mark'
b_str = b'Hello, Mark'
#base64只能对字节码进行编码,所以我们需要先对str进行编码
a = base64.b64encode(a_str.encode('utf-8'))
#由于b_str直接用字节码表示,所以可以直接编码
b = base64.b64encode(b_str)

#打印两个字节码的base64的编码表示
print(f"<{a_str.encode('utf-8')}>'s base64 code is: <{a}>")
print(f"<{b_str}>'s base64 code is: <{b}>")

'''
#Output:
<b'Hello, \xe5\xa4\xa7\xe4\xba\xae'>'s base64 code is: <b'SGVsbG8sIOWkp+S6rg=='>
<b'Hello, Mark'>'s base64 code is: <b'SGVsbG8sIE1hcms='>
'''
  • 解码
import base64
c = b'SGVsbG8sIOWkp+S6rg=='
d = base64.b64decode(c)
print(f"the Byte code of <{c}> is: <{d}>")
print(f"the string of <{d}> is <{d.decode('utf-8')}>")

'''
OUTPUT:
the Byte code of <b'SGVsbG8sIOWkp+S6rg=='> is: <b'Hello, \xe5\xa4\xa7\xe4\xba\xae'>
the string of <b'Hello, \xe5\xa4\xa7\xe4\xba\xae'> is <Hello, 大亮>
'''

安全的URL base64编码/解码

在标准的base64编码中可能出现字符+/ 号, 但是这些符号在URL中为特殊字符, 所以base64模块还支持"url_safe"的方式进行编码和解码, 其实就是将字符 +/分别替换为-_ .

代码

import base64
a_str = 'Hello, 大亮'

b = base64.b64encode(a_str.encode('utf-8'))
c = base64.urlsafe_b64encode(a_str.encode('utf-8'))
#标准编码
print(b)
#url_safe编码
print(c)

```
OUTPUT:
b'SGVsbG8sIOWkp+S6rg=='
b'SGVsbG8sIOWkp-S6rg=='
```
#解码方法为:  base64.urlbase64.urlsafe_b64decode(s)   
#同样, 解码也是只能解码字节码, 不能解码str.

同样=号也是URL中的关键符号, 所以在URL应用中, 很多情况是把编码后的base64编码末尾的=号省略

如果要解码省略了=号的base64编码, 我只需要判断编码是否能被4字节整除, 如果不能整除, 我们就可以推算出该编码省略了几个=号, 我们人工补上, 再进行解码即可

代码如下

def safe_base64_decode(s):
    n = len(s) % 4
    s = s + b"=" * n
    return base64.b64decode(s)

Base64的目的就是把二进行文件转换到纯文本字符串, 以便于在某些特殊场景传输使用, 常用场景为: URL, Cookie, http页面.

本文内容主要来源于廖雪峰老师的博客, 仅作为个人学习笔记

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335

推荐阅读更多精彩内容

  • 每个文本编辑器都有默认的编码方式(比如 UTF-8 编码),当我们保存文档的时候,可以选择编码方式,如果没有特意选...
    _于曼丽_阅读 1,440评论 0 1
  • Base64编码由来 Base64最早是用来解决电子邮件的传输问题。 传统的电子邮件是1982年定下技术规范的,详...
    Ashton阅读 2,554评论 0 6
  • 了解CTF的朋友们,肯定对一种题型不陌生——Misc,Misc里面有各种各样的编码,眼花缭乱的文本通过层层解码后得...
    Ackerzy阅读 11,693评论 1 30
  • 经常听到有人说:我想考驾照,我想考会计,我想学英语,我想怎么怎么样。身边经常会有这样的人,不止一次的听到他想做什么...
    黑夜的猫儿阅读 1,158评论 1 4
  • 亲爱的兜, 今天去上课的路上,我们做了一道数学题,一道关于幸福的数学题。我问你一天24小时,你有多少时间是幸福的?...
    蔡新花阅读 192评论 1 0