Python模块化开发:构建可重用、可维护的代码

2023年 11月 8日 59.2k 0

在现代软件开发中,模块化开发已成为一种不可或缺的方法。它不仅为我们构建复杂的应用程序提供了架构上的便利,还能够提高代码的可重用性、可维护性和可扩展性。在Python这样的高级编程语言中,模块化开发的概念更是得到了广泛的应用。通过将代码拆分为独立的模块,我们能够更好地组织和管理代码,让我们的项目变得更加灵活、可测试和可维护。

一、自定义模块

定义:一个模块就是一个包含了python定义和声明的文件,文件名就是模块名字加上.py的后缀。封装语句的最小单位,本质就是.py文件。

自定义模块:实际上就是定义.py,其中可以包含:变量定义,可执行语句,for循环,函数定义等等,它们统称模块的成员。(模块本身不宜过大,便于维护)

一个py文件拆分100文件,100个py文件又有相似相同的功能.冗余. 此时你要将100个py文件中相似相同的函数提取出来, input 功能,print()功能, time.time() os.path.....放在一个文件,当你想用这个功能拿来即用.类似于这个py文件: 常用的相似的功能集合模块。

模块就是一个py文件常用的相似的功能集合。

1.模块和包

import hashlib


def encrypt(data):
    """ 数据加密 """
    hash_object = hashlib.md5()
    hash_object.update(data.encode('utf-8'))
    return hash_object.hexdigest()


user = input("请输入用户名:")
pwd = input("请输入密码:")
md5_password = encrypt(pwd)

message = "用户名:{},密码:{}".format(user, md5_password)
print(message)

在开发简单的程序时,使用一个py文件就可以搞定,如果程序比较庞大,需要10w行代码,此时为了代码结构清晰,将功能按照某种规则拆分到不同的py文件中,使用时再去导入即可。另外,当其他项目也需要此项目的某些模块时,也可以直接把模块拿过去使用,增加重用性。

如果按照某个规则进行拆分,发现拆分到 commons.py 中函数太多,也可以通过文件夹来进行再次拆分,例如:

├── commons
│   ├── convert.py
│   ├── page.py
│   └── utils.py
└── run.py

在Python中一般对文件和文件的称呼(很多开发者的平时开发中也有人都称为模块):

  • 一个py文件,模块(module)。
  • 含多个py文件的文件夹,包(package)。

注意:在包(文件夹)中有一个默认内容为空的__init__.py的文件,一般用于描述当前包的信息(在导入他下面的模块时,也会自动加载)。

  • py2必须有,如果没有导入包就会失败。
  • py3可有可无。

2. 导入

当定义好一个模块或包之后,如果想要使用其中定义的功能,必须要先导入,然后再能使用。

导入,其实就是将模块或包加载的内存中,以后再去内存中去拿就行。

关于导如时的路径:

在Python内部默认设置了一些路径,导入模块或包时,都会按照指定顺序逐一去特定的路径查找。

import sys
print(sys.path)
[
    '当前执行脚本所在的目录', /Users/wupeiqi/PycharmProjects/luffyCourse/day14/bin
 /Users/wupeiqi/PycharmProjects/luffyCourse/day14
    '/Applications/PyCharm.app/Contents/plugins/python/helpers/pycharm_display',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python39.zip',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/lib-dynload',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages',
    '/Applications/PyCharm.app/Contents/plugins/python/helpers/pycharm_matplotlib_backend'
    
]

windows:

[
    'C:\Users\Administrator\Desktop\pythonPro\01.核心编程\8.模块', 
    'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\python39.zip', 
    'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\DLLs', 
    'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib', 
    'C:\Users\Administrator\AppData\Local\Programs\Python\Python39', 
    'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages', 
    'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages\win32', 
    'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages\win32\lib', 
    'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages\Pythonwin', 
    'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\site-packages'
]

想要导入任意的模块和包,都必须写在如下路径下,才能被找到。

也可以自动手动在sys.path中添加指定路径,然后再导入可以,例如:

import sys
sys.path.append("路径A")

import xxxxx  # 导入路径A下的一个xxxxx.py文件

你以后写模块名称时,千万不能和内置和第三方的同名(新手容易犯错误)。

项目执行文件一般都在项目根目录,如果执行文件嵌套的内存目录,就需要自己手动在sys.path中添加路径。

pycharm中默认会将项目目录加入到sys.path中。

关于导入的方式:

导入本质上是将某个文件中的内容先加载到内存中,然后再去内存中拿过来使用。而在Python开发中常用的导入的方式有2类方式,每类方式都也多种情况。

第一类:import xxxx(开发中,一般多用于导入sys.path目录下的一个py文件)

  • 模块级别
├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   ├── tencent
│   │   ├── __init__.py
│   │   ├── sms.py
│   │   └── wechat.py
│   └── utils.py
├── many.py
└── run.py
  • 包级别
├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   └── utils.py
├── third
│   ├── __init__.py
│   ├── ali
│   │   └── oss.py
│   └── tencent
│       ├── __init__.py
│       ├── __pycache__
│       ├── sms.py
│       └── wechat.py
└── run.py

第二类:from xxx import xxx 【常用】,一般适用于多层嵌套和导入模块中某个成员的情况。

成员级别:

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   └── utils.py
├── many.py
└── run.py

提示:基于from模式也可以支持 from many import *,即:导入一个模块中所有的成员(可能会重名,所以用的少)。

模块级别:

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   └── utils.py
├── many.py
└── run.py

包级别:

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   ├── tencent
│   │   ├── __init__.py
│   │   ├── sms.py
│   │   └── wechat.py
│   └── utils.py
├── many.py
└── run.py

3. 相对导入

在导入模块时,对于 from xx import xx这种模式,还支持相对到导入。切记,相对导入只能用在包中的py文件中(即:嵌套在文件中的py文件才可以使用,项目根目录下无法使用)。

4. 导入别名

如果项目中导入 成员/模块/包 有重名,那么后导入的会覆盖之前导入,为了避免这种情况的发生,Python支持重命名,即:

from xxx.xxx import xx as xo
import x1.x2 as pg

除此之外,有了as的存在,让 import xx.xxx.xxxx.xxx 在调用执行时,会更加简单(「不常用,了解即可」)。

原来:

import commons.page

v1 = commons.page.pagination()

现在:

import commons.page as pg

v1 = pg.pagination()

5. 主文件

执行一个py文件时:

__name__ = "__main__"

导入一个py文件时:

__name__ = "模块名"

主文件,其实就是在程序执行的入口文件,例如:

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   ├── tencent
│   │   ├── __init__.py
│   │   ├── sms.py
│   │   └── wechat.py
│   └── utils.py
├── many.py
└── run.py

我们通常是执行 run.py 去运行程序,其他的py文件都是一些功能代码。当我们去执行一个文件时,文件内部的 __name__变量的值为 main,所以,主文件经常会看到:

import many
from commons import page
from commons import utils


def start():
    v1 = many.show()
    v2 = page.pagination()
    v3 = utils.encrypt()


if __name__ == '__main__':
    start()

只有是以主文件的形式运行此脚本时start函数才会执行,被导入时则不会被执行。

二、第三方模块

第三方模块6000种左右,pip install 需要这个指令安装的模块,Beautiful_soup,request,Django,flask 等等。Python内部提供的模块有限,所以在平时在开发的过程中,经常会使用第三方模块。而第三方模块必须要先安装才能可以使用,下面介绍常见的3中安装第三方模块的方式。其实,使用第三方模块的行为就是去用别人写好并开源出来的py代码,这样自己拿来就用,不必重复造轮子了。。。。

1. pip(最常用)

这是Python中最最最常用的安装第三方模块的方式。

pip其实是一个第三方模块包管理工具,默认安装Python解释器时自动会安装,默认目录:

MAC系统,即:Python安装路径的bin目录下
 /Library/Frameworks/Python.framework/Versions/3.9/bin/pip3
 /Library/Frameworks/Python.framework/Versions/3.9/bin/pip3.9
 
Windows系统,即:Python安装路径的scripts目录下
 C:Python39Scriptspip3.exe
 C:Python39Scriptspip3.9.exe

提示:为了方便在终端运行pip管理工具,我们也会把它所在的路径添加到系统环境变量中。

pip3 install 模块名称

默认安装的是最新的版本,如果想要指定版本:

pip3 install 模块名称==版本

例如:
pip3 install django==2.2

(1) pip更新

上图的黄色字体提示:目前我电脑上的pip是20.2.3版本,最新的是 20.3.3 版本,如果想要升级为最新的版本,可以在终端执行他提示的命令:

/Library/Frameworks/Python.framework/Versions/3.9/bin/python3.9 -m pip install --upgrade pip

注意:根据自己电脑的提示命令去执行,不要用我这里的提示命令哈。

(2) 豆瓣源

pip默认是去 https://pypi.org 去下载第三方模块(本质上就是别人写好的py代码),国外的网站速度会比较慢,为了加速可以使用国内的豆瓣源。因此可以设置镜像源的方式:

一次性使用:

pip3.9 install 模块名称  -i  https://pypi.douban.com/simple/

永久使用(配置):

# 在终端执行如下命令
pip3.9 config set global.index-url https://pypi.douban.com/simple/

# 执行完成后,提示在我的本地文件中写入了豆瓣源,以后再通过pip去安装第三方模块时,就会默认使用豆瓣源了。
# 自己以后也可以打开文件直接修改源地址。
Writing to /Users/wupeiqi/.config/pip/pip.conf

写在最后,也还有其他的源可供选择(豆瓣应用广泛):

阿里云:http://mirrors.aliyun.com/pypi/simple/
中国科技大学:https://pypi.mirrors.ustc.edu.cn/simple/ 
清华大学:https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学:http://pypi.mirrors.ustc.edu.cn/simple/

2. 其他方式

(1) 源码

如果要安装的模块在pypi.org中不存在 或 因特殊原因无法通过pip install 安装时,可以直接下载源码,然后基于源码安装,由于这种方式比较繁琐,这里有想法的可以自己去探索。

(2) 基于wheel

wheel是Python的第三方模块包的文件格式的一种,我们也可以基于wheel去安装一些第三方模块。安装wheel格式支持,这样pip再安装第三方模块时,就可以处理wheel格式的文件了。

pip3.9 install wheel

下载第三方的包(wheel格式),例如:

进入下载目录,在终端基于pip直接安装:

pip3 install requests-2.25.1-py2.py3-none-any.whl

无论通过什么形式去安装第三方模块,默认模块的安装路径在:

Max系统:
 /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Windows系统:
 C:Python39Libsite-packages

提醒:这个目录在sys.path中,所以我们直接在代码中直接导入下载的第三方包是没问题的。

三、内置模块

内置模块200种左右,python解释器自带的模块,time os sys hashlib等等。

Python内置的模块有很多,我们也已经接触了不少相关模块,接下来咱们就来做一些汇总和介绍。

内置模块有很多 & 模块中的功能也非常多,我们是没有办法注意全局给大家讲解,在此我会整理出项目开发最常用的来进行讲解。

1.os模块

OS提供了一些关于文件操作的功能:

import os

# 1. 获取当前脚本绝对路径
abs_path = os.path.abspath(__file__)
print(abs_path)

# 2. 获取当前文件的上级目录

base_path = os.path.dirname( os.path.dirname(路径) )
print(base_path)

# 3. 路径拼接
p1 = os.path.join(base_path, 'xx')
print(p1)

p2 = os.path.join(base_path, 'xx', 'oo', 'a1.png')
print(p2)

# 4. 判断路径是否存在
exists = os.path.exists(p1)
print(exists)

# 5. 创建文件夹
os.makedirs(路径)

path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
if not os.path.exists(path):
    os.makedirs(path)

# 6. 是否是文件夹
file_path = os.path.join(base_path, 'xx', 'oo', 'uuuu.png')
is_dir = os.path.isdir(file_path)
print(is_dir) # False

folder_path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
is_dir = os.path.isdir(folder_path)
print(is_dir) # True

# 7. 删除文件或文件夹
os.remove("文件路径")

2. random

此模块提供了和随机数获取相关的方法:

  • random.random():获取从[0.0 , 1.0) 范围内的浮点数。
improt random
print(random.random())
# 0.8595089778726372
  • random.randint(a,b):获取[a,b] 范围内的整数。
print(random.randint(3,10))
  • random.uniform(a,b):获取[a,b) 范围内的浮点数。   取决于操作系统
print(random.uniform(3,5))
  • random.shuffle(x):把参数指定的数据中的元素打乱,其中参数必须是可变数据类型。混洗。(直接修改原列表)
lst = list(range(10))
random.shuffle(lst)
print(lst)
# [4, 6, 2, 7, 0, 8, 9, 3, 5, 1]
  • random.choice(seq):函数可以从非空序列中取出一个随机元素。
alist = list('abcdef')
random.choice(alist)
  • random.choices(population, weights=None, *, cum_weights=None, k=1)函数可以从总体中随机抽取(有放回抽样)出容量为k的样本并返回样本的列表,可以通过参数指定个体的权重,如果没有指定权重,个体被选中的概率均等。
random.choices(alist,k=4)
# ['b', 'f', 'b', 'f']
  • random.sample(x,k):从x中随机取k个数据,组成一个列表返回。  (从不可变数据类型中取)(变相打乱元组,数据)
t = (1,2,3)

lst = random.sample(t,len(t))
print(lst)

小应用:验证码

import random

def get_random_code(length=6):
    data = []
    for i in range(length):
        v = random.randint(65,90)
        data.append(chr(v))

    return  ''.join(data)


code = get_random_code()
print(code)

关于内置模块还有很多,这里我们不做更多的介绍,会在后面继续更新...

四、项目开发规范

现阶段,我们在开发一些程序时(终端运行),应该遵循一些结构的规范,让你的系统更加专业。

1. 单文件应用

当基于python开发简单应用时(一个py文件就能搞定),需要注意如下几点。

"""
1.文件注释
"""

# 2.导包(内置,第三方,自定义)
import re
import random

import requests
from openpyxl import load_workbook


# 3.全局变量大写
DB = "XXX"

# 4.函数名规范,函数功能注释
def do_something():
    """ 函数注释 """

    # TODO # 5.待完成时,下一期实现xxx功能
    for i in range(10):
        pass


def run():
    """ 函数注释 """

    # 对功能代码进行注释  # 6.部分功能代码注释
    text = input(">>>")
    print(text)

# 7.主文件
if __name__ == '__main__':
    run()

2. 单可执行文件

新创建一个项目,假设名字叫 【crm】,可以创建如下文件和文件夹来存放代码和数据。

crm
├── app.py        文件,程序的主文件(尽量精简)
├── config.py     文件,配置文件(放相关配置信息,代码中读取配置信息,如果想要修改配置,即可以在此修改,不用再去代码中逐一修改了)
├── db            文件夹,存放数据
├── files         文件夹,存放文件
├── src           包,业务处理的代码
└── utils         包,公共功能

3. 多可执行文件

新创建项目,假设名称叫【killer】,可以创建如下文件和文件夹来存放代码和数据。

killer
├── bin     文件夹,存放多个主文件(可运行)
│   ├── app1.py
│   └── app2.py
├── config              包,配置文件
│   ├── __init__.py
│   └── settings.py
├── db                  文件夹,存放数据
├── files               文件夹,存放文件
├── src                 包,业务代码
│   └── __init__.py
└── utils               包,公共功能
    └── __init__.py

4. 项目结构

设计项目目录结构的作用:

  • 可读性高: 不熟悉这个项目代码的人,一眼就能看懂目录结构,知道程序启动脚本是哪个,测试目录在哪儿,配置文件在哪儿等等。从而非常快速的了解这个项目。
  • 可维护性高: 定义好组织规则后,维护者就能很明确地知道,新增的哪个文件和代码应该放在什么目录之下。这个好处是,随着时间的推移,代码/配置的规模增加,项目结构不会混乱,仍然能够组织良好。

较好的目录结构方式(推荐)

  • bin是一个存放启动文件的目录,不管你文件的名字叫什么你只要放到bin目录下大家就知道这是一个启动文件:
#===============>start.py
# 开启项目的start文件。
import sys,os
BASE_DIR=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(BASE_DIR)
from core import src
if __name__ == '__main__':
    src.run()
  • cores是一个存放项目的主逻辑,比如购物车,里边写的就是登陆充值购买等功能;
#===============>src.py
# 主要逻辑部分:
# 核心逻辑,代码放在这。
from conf import settings
from lib import common
import time
logger=common.get_logger(__name__)
current_user={'user':None,'login_time':None,'timeout':int(settings.LOGIN_TIMEOUT)}
def auth(func):
    def wrapper(*args,**kwargs):
        pass
    return wrapper
@auth
def buy():
    print('buy...')
@auth
def run():
    print('''
购物
查看余额
转账
  • lib是存放有一个公共组件的目录,什么是公共组件,就是在这个项目中陪别的功能频繁使用的功能;
#===============>common.py
# 公共组件放在这里:公共功能部分。
from conf import settings
import logging
import logging.config
import json
def get_logger(name):
    logging.config.dictConfig(settings.LOGGING_DIC)  # 导入上面定义的logging配置
    logger = logging.getLogger(name)  # 生成一个log实例
    return logger
def conn_db():
    db_path=settings.DB_PATH
    dic=json.load(open(db_path,'r',encoding='utf-8'))
    return dic
  • conf 是一个存放配置文件的目录,配置文件就是文件中的一些全局变量移到这里;
#===============>settings.py
# 配置文件,放一些路径或者信息等配置
import os
BASE_DIR=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
DB_PATH=os.path.join(BASE_DIR,'db','db.json')
LOG_PATH=os.path.join(BASE_DIR,'log','access.log')
LOGIN_TIMEOUT=5
  • db是存放这个项目需要使用到的一些文件;
// ===============>db.json
// 重要数据放在这里
{
    "students":[
        {"name":"lisa","age":18},
        {"name":"jack","age":18},
        //  ...
    ]
}
  • log是这个项目需要记录的日志文件存放位置;
"""
logging配置
"""
# 定义三种日志输出格式
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' 
                  '[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'
# log配置字典
LOGGING_DIC = {
    # xxx
}

5. 关于README的内容

每个项目都应该有的一个文件,目的是能简要描述该项目的信息,让读者快速了解这个项目。它需要说明以下几个事项:

  • 软件定位,软件的基本功能。
  • 运行代码的方法: 安装环境、启动命令等。
  • 简要的使用说明。
  • 代码目录结构说明,更详细点可以说明软件的基本原理。
  • 常见问题说明。

五、总结

模块化开发是Python编程中的一个重要实践。通过将代码分解为独立的模块,我们可以更好地管理、组织和复用代码。模块化开发使得我们的项目更易于扩展、维护和测试,并且还可以加速开发过程。在实际应用中,我们可以采用各种技术和工具来实现模块化开发,如使用Python的内置模块、第三方库、包管理工具等。通过运用模块化开发的原则和技巧,我们能够编写出结构清晰、易于理解和更具可持续性的Python代码。

相关文章

JavaScript2024新功能:Object.groupBy、正则表达式v标志
PHP trim 函数对多字节字符的使用和限制
新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
使用HTMX为WordPress增效:如何在不使用复杂框架的情况下增强平台功能
为React 19做准备:WordPress 6.6用户指南
如何删除WordPress中的所有评论

发布评论