Python解析参数的三种方法

今天我们分享的主要目的就是通过在 Python 中使用命令行和配置文件来提高代码的效率 Let's go! 我们以机器学习当中的调参过程来进行实践，有三种方式可供选择。第一个选项是使用 argparse，它是一个流行的 Python 模块，专门用于命令行解析；另一种方法是读取 JSON 文件，我们可以在其中放置所有超参数；第三种也是鲜为人知的方法是使用 YAML 文件！好奇吗，让我们开始吧！ ## 先决条件在下面的代码中，我将使用 Visual Studio Code，这是一个非常高效的集成 Python 开发环境。这个工具的美妙之处在于它通过安装扩展支持每种编程语言，集成终端并允许同时处理大量 Python 脚本和 Jupyter 笔记本当然如果你还不知道怎么配置 VSCode，可以看这里手把手将Visual Studio Code变成Python开发神器数据集，使用的是 Kaggle 上的共享自行车数据集，可以在这里下载或者在文末获取 > https://www.kaggle.com/datasets/lakshmi25npathi/bike-sharing-dataset ## 使用 argparse ![](https://upload-images.jianshu.io/upload_images/5803165-f88d2fe82c637249.png) 就像上图所示，我们有一个标准的结构来组织我们的小项目： - 包含我们数据集的名为 data 的文件夹 - train.py 文件 - 用于指定超参数的 options.py 文件首先，我们可以创建一个文件 train.py，在其中我们有导入数据、在训练数据上训练模型并在测试集上对其进行评估的基本程序： ```Python import pandas as pd import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, mean_absolute_error from options import train_options df = pd.read_csv('data\hour.csv') print(df.head()) opt = train_options() X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values y =df['cnt'].values X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) if opt.normalize == True: scaler = StandardScaler() X = scaler.fit_transform(X) rf = RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth) model = rf.fit(X_train,y_train) y_pred = model.predict(X_test) rmse = np.sqrt(mean_squared_error(y_pred, y_test)) mae = mean_absolute_error(y_pred, y_test) print("rmse: ",rmse) print("mae: ",mae) ``` 在代码中，我们还导入了包含在 options.py 文件中的 train_options 函数。后一个文件是一个 Python 文件，我们可以从中更改 train.py 中考虑的超参数： ```Python import argparse def train_options(): parser = argparse.ArgumentParser() parser.add_argument("--normalize", default=True, type=bool, help='maximum depth') parser.add_argument("--n_estimators", default=100, type=int, help='number of estimators') parser.add_argument("--max_features", default=6, type=int, help='maximum of features',) parser.add_argument("--max_depth", default=5, type=int,help='maximum depth') opt = parser.parse_args() return opt ``` 在这个例子中，我们使用了 argparse 库，它在解析命令行参数时非常流行。首先，我们初始化解析器，然后，我们可以添加我们想要访问的参数。这是运行代码的示例： ```Python python train.py ``` ![](https://upload-images.jianshu.io/upload_images/5803165-bc2853f09594192e.png) 要更改超参数的默认值，有两种方法。第一个选项是在 options.py 文件中设置不同的默认值。另一种选择是从命令行传递超参数值： ```Python python train.py --n_estimators 200 ``` 我们需要指定要更改的超参数的名称和相应的值。 ```Python python train.py --n_estimators 200 --max_depth 7 ``` ## 使用 JSON 文件 ![](https://upload-images.jianshu.io/upload_images/5803165-ad58a32cd1613757.png) 和前面一样，我们可以保持类似的文件结构。在这种情况下，我们将 options.py 文件替换为 JSON 文件。换句话说，我们想在 JSON 文件中指定超参数的值并将它们传递给 train.py 文件。与 argparse 库相比，JSON 文件可以是一种快速且直观的替代方案，它利用键值对来存储数据。下面我们创建一个 options.json 文件，其中包含我们稍后需要传递给其他代码的数据。 ```JSON { "normalize":true, "n_estimators":100, "max_features":6, "max_depth":5 } ``` 如上所见，它与 Python 字典非常相似。但是与字典不同的是，它包含文本/字符串格式的数据。此外，还有一些语法略有不同的常见数据类型。例如，布尔值是 false/true，而 Python 识别 False/True。JSON 中其他可能的值是数组，它们用方括号表示为 Python 列表。在 Python 中使用 JSON 数据的美妙之处在于，它可以通过 load 方法转换成 Python 字典： ```Python f = open("options.json", "rb") parameters = json.load(f) ``` 要访问特定项目，我们只需要在方括号内引用它的键名： ```Python if parameters["normalize"] == True: scaler = StandardScaler() X = scaler.fit_transform(X) rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42) model = rf.fit(X_train,y_train) y_pred = model.predict(X_test) ``` ## 使用 YAML 文件 ![](https://upload-images.jianshu.io/upload_images/5803165-c767e74cf988001d.png) 最后一种选择是利用 YAML 的潜力。与 JSON 文件一样，我们将 Python 代码中的 YAML 文件作为字典读取，以访问超参数的值。YAML 是一种人类可读的数据表示语言，其中层次结构使用双空格字符表示，而不是像 JSON 文件中的括号。下面我们展示 options.yaml 文件将包含的内容： ```YAML normalize: True n_estimators: 100 max_features: 6 max_depth: 5 ``` 在 train.py 中，我们打开 options.yaml 文件，该文件将始终使用 load 方法转换为 Python 字典，这一次是从 yaml 库中导入的： ```Python import yaml f = open('options.yaml','rb') parameters = yaml.load(f, Loader=yaml.FullLoader) ``` 和前面一样，我们可以使用字典所需的语法访问超参数的值。 ## 最后的想法配置文件的编译速度非常快，而 argparse 则需要为我们要添加的每个参数编写一行代码。所以我们应该根据自己的不同情况来选择最为合适的方式例如，如果我们需要为参数添加注释，JSON 是不合适的，因为它不允许注释，而 YAML 和 argparse 可能非常适合。好了，这就是今天分享的全部内容，喜欢就点个赞吧~ 本文由[mdnice](https://mdnice.com/?platform=6)多平台发布

最后编辑于：2022.08.17 21:37:20

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 202,529评论 5赞 475
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,015评论 2赞 379
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 149,409评论 0赞 335
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,385评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,387评论 5赞 364
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,466评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,880评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,528评论 0赞 256
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,727评论 1赞 295
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,528评论 2赞 319
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,602评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,302评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,873评论 3赞 306
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,890评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,132评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,777评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,310评论 2赞 342

Python解析参数的三种方法

推荐阅读更多精彩内容