在现代软件开发中,模块化开发已成为一种不可或缺的方法。它不仅为我们构建复杂的应用程序提供了架构上的便利,还能够提高代码的可重用性、可维护性和可扩展性。在Python这样的高级编程语言中,模块化开发的概念更是得到了广泛的应用。通过将代码拆分为独立的模块,我们能够更好地组织和管理代码,让我们的项目变得更加灵活、可测试和可维护。
一、自定义模块
定义:一个模块就是一个包含了python定义和声明的文件,文件名就是模块名字加上.py的后缀。封装语句的最小单位,本质就是.py文件。
自定义模块:实际上就是定义.py,其中可以包含:变量定义,可执行语句,for循环,函数定义等等,它们统称模块的成员。(模块本身不宜过大,便于维护)
一个py文件拆分100文件,100个py文件又有相似相同的功能.冗余. 此时你要将100个py文件中相似相同的函数提取出来, input 功能,print()功能, time.time() os.path.....放在一个文件,当你想用这个功能拿来即用.类似于这个py文件: 常用的相似的功能集合模块。
模块就是一个py文件常用的相似的功能集合。
1.模块和包
import hashlib
def encrypt(data):
""" 数据加密 """
hash_object = hashlib.md5()
hash_object.update(data.encode('utf-8'))
return hash_object.hexdigest()
user = input("请输入用户名:")
pwd = input("请输入密码:")
md5_password = encrypt(pwd)
message = "用户名:{},密码:{}".format(user, md5_password)
print(message)
在开发简单的程序时,使用一个py文件就可以搞定,如果程序比较庞大,需要10w行代码,此时为了代码结构清晰,将功能按照某种规则拆分到不同的py文件中,使用时再去导入即可。另外,当其他项目也需要此项目的某些模块时,也可以直接把模块拿过去使用,增加重用性。
如果按照某个规则进行拆分,发现拆分到 commons.py 中函数太多,也可以通过文件夹来进行再次拆分,例如:
├── commons
│ ├── convert.py
│ ├── page.py
│ └── utils.py
└── run.py
在Python中一般对文件和文件的称呼(很多开发者的平时开发中也有人都称为模块):
- 一个py文件,模块(module)。
- 含多个py文件的文件夹,包(package)。
注意:在包(文件夹)中有一个默认内容为空的__init__.py的文件,一般用于描述当前包的信息(在导入他下面的模块时,也会自动加载)。
- py2必须有,如果没有导入包就会失败。
- py3可有可无。
2. 导入
当定义好一个模块或包之后,如果想要使用其中定义的功能,必须要先导入,然后再能使用。
导入,其实就是将模块或包加载的内存中,以后再去内存中去拿就行。
关于导如时的路径:
在Python内部默认设置了一些路径,导入模块或包时,都会按照指定顺序逐一去特定的路径查找。
import sys
print(sys.path)
[
'当前执行脚本所在的目录', /Users/wupeiqi/PycharmProjects/luffyCourse/day14/bin
/Users/wupeiqi/PycharmProjects/luffyCourse/day14
'/Applications/PyCharm.app/Contents/plugins/python/helpers/pycharm_display',
'/Library/Frameworks/Python.framework/Versions/3.9/lib/python39.zip',
'/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9',
'/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/lib-dynload',
'/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages',
'/Applications/PyCharm.app/Contents/plugins/python/helpers/pycharm_matplotlib_backend'
]
windows:
[
'C:\Users\Administrator\Desktop\pythonPro\01.核心编程\8.模块',
'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\python39.zip',
'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\DLLs',
'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib',
'C:\Users\Administrator\AppData\Local\Programs\Python\Python39',
'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages',
'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages\win32',
'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages\win32\lib',
'C:\Users\Administrator\AppData\Roaming\Python\Python39\site-packages\Pythonwin',
'C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\site-packages'
]
想要导入任意的模块和包,都必须写在如下路径下,才能被找到。
也可以自动手动在sys.path中添加指定路径,然后再导入可以,例如:
import sys
sys.path.append("路径A")
import xxxxx # 导入路径A下的一个xxxxx.py文件
你以后写模块名称时,千万不能和内置和第三方的同名(新手容易犯错误)。
项目执行文件一般都在项目根目录,如果执行文件嵌套的内存目录,就需要自己手动在sys.path中添加路径。
pycharm中默认会将项目目录加入到sys.path中。
关于导入的方式:
导入本质上是将某个文件中的内容先加载到内存中,然后再去内存中拿过来使用。而在Python开发中常用的导入的方式有2类方式,每类方式都也多种情况。
第一类:import xxxx(开发中,一般多用于导入sys.path目录下的一个py文件)
- 模块级别
├── commons
│ ├── __init__.py
│ ├── convert.py
│ ├── page.py
│ ├── tencent
│ │ ├── __init__.py
│ │ ├── sms.py
│ │ └── wechat.py
│ └── utils.py
├── many.py
└── run.py
- 包级别
├── commons
│ ├── __init__.py
│ ├── convert.py
│ ├── page.py
│ └── utils.py
├── third
│ ├── __init__.py
│ ├── ali
│ │ └── oss.py
│ └── tencent
│ ├── __init__.py
│ ├── __pycache__
│ ├── sms.py
│ └── wechat.py
└── run.py
第二类:from xxx import xxx 【常用】,一般适用于多层嵌套和导入模块中某个成员的情况。
成员级别:
├── commons
│ ├── __init__.py
│ ├── convert.py
│ ├── page.py
│ └── utils.py
├── many.py
└── run.py
提示:基于from模式也可以支持 from many import *,即:导入一个模块中所有的成员(可能会重名,所以用的少)。
模块级别:
├── commons
│ ├── __init__.py
│ ├── convert.py
│ ├── page.py
│ └── utils.py
├── many.py
└── run.py
包级别:
├── commons
│ ├── __init__.py
│ ├── convert.py
│ ├── page.py
│ ├── tencent
│ │ ├── __init__.py
│ │ ├── sms.py
│ │ └── wechat.py
│ └── utils.py
├── many.py
└── run.py
3. 相对导入
在导入模块时,对于 from xx import xx这种模式,还支持相对到导入。切记,相对导入只能用在包中的py文件中(即:嵌套在文件中的py文件才可以使用,项目根目录下无法使用)。
4. 导入别名
如果项目中导入 成员/模块/包 有重名,那么后导入的会覆盖之前导入,为了避免这种情况的发生,Python支持重命名,即:
from xxx.xxx import xx as xo
import x1.x2 as pg
除此之外,有了as的存在,让 import xx.xxx.xxxx.xxx 在调用执行时,会更加简单(「不常用,了解即可」)。
原来:
import commons.page
v1 = commons.page.pagination()
现在:
import commons.page as pg
v1 = pg.pagination()
5. 主文件
执行一个py文件时:
__name__ = "__main__"
导入一个py文件时:
__name__ = "模块名"
主文件,其实就是在程序执行的入口文件,例如:
├── commons
│ ├── __init__.py
│ ├── convert.py
│ ├── page.py
│ ├── tencent
│ │ ├── __init__.py
│ │ ├── sms.py
│ │ └── wechat.py
│ └── utils.py
├── many.py
└── run.py
我们通常是执行 run.py 去运行程序,其他的py文件都是一些功能代码。当我们去执行一个文件时,文件内部的 __name__变量的值为 main,所以,主文件经常会看到:
import many
from commons import page
from commons import utils
def start():
v1 = many.show()
v2 = page.pagination()
v3 = utils.encrypt()
if __name__ == '__main__':
start()
只有是以主文件的形式运行此脚本时start函数才会执行,被导入时则不会被执行。
二、第三方模块
第三方模块6000种左右,pip install 需要这个指令安装的模块,Beautiful_soup,request,Django,flask 等等。Python内部提供的模块有限,所以在平时在开发的过程中,经常会使用第三方模块。而第三方模块必须要先安装才能可以使用,下面介绍常见的3中安装第三方模块的方式。其实,使用第三方模块的行为就是去用别人写好并开源出来的py代码,这样自己拿来就用,不必重复造轮子了。。。。
1. pip(最常用)
这是Python中最最最常用的安装第三方模块的方式。
pip其实是一个第三方模块包管理工具,默认安装Python解释器时自动会安装,默认目录:
MAC系统,即:Python安装路径的bin目录下
/Library/Frameworks/Python.framework/Versions/3.9/bin/pip3
/Library/Frameworks/Python.framework/Versions/3.9/bin/pip3.9
Windows系统,即:Python安装路径的scripts目录下
C:Python39Scriptspip3.exe
C:Python39Scriptspip3.9.exe
提示:为了方便在终端运行pip管理工具,我们也会把它所在的路径添加到系统环境变量中。
pip3 install 模块名称
默认安装的是最新的版本,如果想要指定版本:
pip3 install 模块名称==版本
例如:
pip3 install django==2.2
(1) pip更新
上图的黄色字体提示:目前我电脑上的pip是20.2.3版本,最新的是 20.3.3 版本,如果想要升级为最新的版本,可以在终端执行他提示的命令:
/Library/Frameworks/Python.framework/Versions/3.9/bin/python3.9 -m pip install --upgrade pip
注意:根据自己电脑的提示命令去执行,不要用我这里的提示命令哈。
(2) 豆瓣源
pip默认是去 https://pypi.org 去下载第三方模块(本质上就是别人写好的py代码),国外的网站速度会比较慢,为了加速可以使用国内的豆瓣源。因此可以设置镜像源的方式:
一次性使用:
pip3.9 install 模块名称 -i https://pypi.douban.com/simple/
永久使用(配置):
# 在终端执行如下命令
pip3.9 config set global.index-url https://pypi.douban.com/simple/
# 执行完成后,提示在我的本地文件中写入了豆瓣源,以后再通过pip去安装第三方模块时,就会默认使用豆瓣源了。
# 自己以后也可以打开文件直接修改源地址。
Writing to /Users/wupeiqi/.config/pip/pip.conf
写在最后,也还有其他的源可供选择(豆瓣应用广泛):
阿里云:http://mirrors.aliyun.com/pypi/simple/
中国科技大学:https://pypi.mirrors.ustc.edu.cn/simple/
清华大学:https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学:http://pypi.mirrors.ustc.edu.cn/simple/
2. 其他方式
(1) 源码
如果要安装的模块在pypi.org中不存在 或 因特殊原因无法通过pip install 安装时,可以直接下载源码,然后基于源码安装,由于这种方式比较繁琐,这里有想法的可以自己去探索。
(2) 基于wheel
wheel是Python的第三方模块包的文件格式的一种,我们也可以基于wheel去安装一些第三方模块。安装wheel格式支持,这样pip再安装第三方模块时,就可以处理wheel格式的文件了。
pip3.9 install wheel
下载第三方的包(wheel格式),例如:
进入下载目录,在终端基于pip直接安装:
pip3 install requests-2.25.1-py2.py3-none-any.whl
无论通过什么形式去安装第三方模块,默认模块的安装路径在:
Max系统:
/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Windows系统:
C:Python39Libsite-packages
提醒:这个目录在sys.path中,所以我们直接在代码中直接导入下载的第三方包是没问题的。
三、内置模块
内置模块200种左右,python解释器自带的模块,time os sys hashlib等等。
Python内置的模块有很多,我们也已经接触了不少相关模块,接下来咱们就来做一些汇总和介绍。
内置模块有很多 & 模块中的功能也非常多,我们是没有办法注意全局给大家讲解,在此我会整理出项目开发最常用的来进行讲解。
1.os模块
OS提供了一些关于文件操作的功能:
import os
# 1. 获取当前脚本绝对路径
abs_path = os.path.abspath(__file__)
print(abs_path)
# 2. 获取当前文件的上级目录
base_path = os.path.dirname( os.path.dirname(路径) )
print(base_path)
# 3. 路径拼接
p1 = os.path.join(base_path, 'xx')
print(p1)
p2 = os.path.join(base_path, 'xx', 'oo', 'a1.png')
print(p2)
# 4. 判断路径是否存在
exists = os.path.exists(p1)
print(exists)
# 5. 创建文件夹
os.makedirs(路径)
path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
if not os.path.exists(path):
os.makedirs(path)
# 6. 是否是文件夹
file_path = os.path.join(base_path, 'xx', 'oo', 'uuuu.png')
is_dir = os.path.isdir(file_path)
print(is_dir) # False
folder_path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
is_dir = os.path.isdir(folder_path)
print(is_dir) # True
# 7. 删除文件或文件夹
os.remove("文件路径")
2. random
此模块提供了和随机数获取相关的方法:
- random.random():获取从[0.0 , 1.0) 范围内的浮点数。
improt random
print(random.random())
# 0.8595089778726372
- random.randint(a,b):获取[a,b] 范围内的整数。
print(random.randint(3,10))
- random.uniform(a,b):获取[a,b) 范围内的浮点数。 取决于操作系统
print(random.uniform(3,5))
- random.shuffle(x):把参数指定的数据中的元素打乱,其中参数必须是可变数据类型。混洗。(直接修改原列表)
lst = list(range(10))
random.shuffle(lst)
print(lst)
# [4, 6, 2, 7, 0, 8, 9, 3, 5, 1]
- random.choice(seq):函数可以从非空序列中取出一个随机元素。
alist = list('abcdef')
random.choice(alist)
- random.choices(population, weights=None, *, cum_weights=None, k=1)函数可以从总体中随机抽取(有放回抽样)出容量为k的样本并返回样本的列表,可以通过参数指定个体的权重,如果没有指定权重,个体被选中的概率均等。
random.choices(alist,k=4)
# ['b', 'f', 'b', 'f']
- random.sample(x,k):从x中随机取k个数据,组成一个列表返回。 (从不可变数据类型中取)(变相打乱元组,数据)
t = (1,2,3)
lst = random.sample(t,len(t))
print(lst)
小应用:验证码
import random
def get_random_code(length=6):
data = []
for i in range(length):
v = random.randint(65,90)
data.append(chr(v))
return ''.join(data)
code = get_random_code()
print(code)
关于内置模块还有很多,这里我们不做更多的介绍,会在后面继续更新...
四、项目开发规范
现阶段,我们在开发一些程序时(终端运行),应该遵循一些结构的规范,让你的系统更加专业。
1. 单文件应用
当基于python开发简单应用时(一个py文件就能搞定),需要注意如下几点。
"""
1.文件注释
"""
# 2.导包(内置,第三方,自定义)
import re
import random
import requests
from openpyxl import load_workbook
# 3.全局变量大写
DB = "XXX"
# 4.函数名规范,函数功能注释
def do_something():
""" 函数注释 """
# TODO # 5.待完成时,下一期实现xxx功能
for i in range(10):
pass
def run():
""" 函数注释 """
# 对功能代码进行注释 # 6.部分功能代码注释
text = input(">>>")
print(text)
# 7.主文件
if __name__ == '__main__':
run()
2. 单可执行文件
新创建一个项目,假设名字叫 【crm】,可以创建如下文件和文件夹来存放代码和数据。
crm
├── app.py 文件,程序的主文件(尽量精简)
├── config.py 文件,配置文件(放相关配置信息,代码中读取配置信息,如果想要修改配置,即可以在此修改,不用再去代码中逐一修改了)
├── db 文件夹,存放数据
├── files 文件夹,存放文件
├── src 包,业务处理的代码
└── utils 包,公共功能
3. 多可执行文件
新创建项目,假设名称叫【killer】,可以创建如下文件和文件夹来存放代码和数据。
killer
├── bin 文件夹,存放多个主文件(可运行)
│ ├── app1.py
│ └── app2.py
├── config 包,配置文件
│ ├── __init__.py
│ └── settings.py
├── db 文件夹,存放数据
├── files 文件夹,存放文件
├── src 包,业务代码
│ └── __init__.py
└── utils 包,公共功能
└── __init__.py
4. 项目结构
设计项目目录结构的作用:
- 可读性高: 不熟悉这个项目代码的人,一眼就能看懂目录结构,知道程序启动脚本是哪个,测试目录在哪儿,配置文件在哪儿等等。从而非常快速的了解这个项目。
- 可维护性高: 定义好组织规则后,维护者就能很明确地知道,新增的哪个文件和代码应该放在什么目录之下。这个好处是,随着时间的推移,代码/配置的规模增加,项目结构不会混乱,仍然能够组织良好。
较好的目录结构方式(推荐)
- bin是一个存放启动文件的目录,不管你文件的名字叫什么你只要放到bin目录下大家就知道这是一个启动文件:
#===============>start.py
# 开启项目的start文件。
import sys,os
BASE_DIR=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(BASE_DIR)
from core import src
if __name__ == '__main__':
src.run()
- cores是一个存放项目的主逻辑,比如购物车,里边写的就是登陆充值购买等功能;
#===============>src.py
# 主要逻辑部分:
# 核心逻辑,代码放在这。
from conf import settings
from lib import common
import time
logger=common.get_logger(__name__)
current_user={'user':None,'login_time':None,'timeout':int(settings.LOGIN_TIMEOUT)}
def auth(func):
def wrapper(*args,**kwargs):
pass
return wrapper
@auth
def buy():
print('buy...')
@auth
def run():
print('''
购物
查看余额
转账
- lib是存放有一个公共组件的目录,什么是公共组件,就是在这个项目中陪别的功能频繁使用的功能;
#===============>common.py
# 公共组件放在这里:公共功能部分。
from conf import settings
import logging
import logging.config
import json
def get_logger(name):
logging.config.dictConfig(settings.LOGGING_DIC) # 导入上面定义的logging配置
logger = logging.getLogger(name) # 生成一个log实例
return logger
def conn_db():
db_path=settings.DB_PATH
dic=json.load(open(db_path,'r',encoding='utf-8'))
return dic
- conf 是一个存放配置文件的目录,配置文件就是文件中的一些全局变量移到这里;
#===============>settings.py
# 配置文件,放一些路径或者信息等配置
import os
BASE_DIR=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
DB_PATH=os.path.join(BASE_DIR,'db','db.json')
LOG_PATH=os.path.join(BASE_DIR,'log','access.log')
LOGIN_TIMEOUT=5
- db是存放这个项目需要使用到的一些文件;
// ===============>db.json
// 重要数据放在这里
{
"students":[
{"name":"lisa","age":18},
{"name":"jack","age":18},
// ...
]
}
- log是这个项目需要记录的日志文件存放位置;
"""
logging配置
"""
# 定义三种日志输出格式
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]'
'[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'
# log配置字典
LOGGING_DIC = {
# xxx
}
5. 关于README的内容
每个项目都应该有的一个文件,目的是能简要描述该项目的信息,让读者快速了解这个项目。它需要说明以下几个事项:
- 软件定位,软件的基本功能。
- 运行代码的方法: 安装环境、启动命令等。
- 简要的使用说明。
- 代码目录结构说明,更详细点可以说明软件的基本原理。
- 常见问题说明。
五、总结
模块化开发是Python编程中的一个重要实践。通过将代码分解为独立的模块,我们可以更好地管理、组织和复用代码。模块化开发使得我们的项目更易于扩展、维护和测试,并且还可以加速开发过程。在实际应用中,我们可以采用各种技术和工具来实现模块化开发,如使用Python的内置模块、第三方库、包管理工具等。通过运用模块化开发的原则和技巧,我们能够编写出结构清晰、易于理解和更具可持续性的Python代码。