我的第一个python web开发框架（30）——定制ORM（六）

　　在开发中，查询操作是使用最多的，而查询列表是其中之一，查询列表可分为分页查询和不分页查询（它们之间多了一次总记录数查询），还可以分为单表查询和多表关联查询，返回的结构体根据前端使用的表单框架不同而有所区别。

　　我们先看看，对于列表分页查询，在接口中是如何处理的

 @get('/api/product/')
 def callback():
     """
     获取列表数据
     """
     # 设置查询条件
     wheres = ''
     # 产品分类id
     product_class_id = convert_helper.to_int0(web_helper.get_query('product_class_id', '产品分类id', is_check_null=False))
     if product_class_id > 0:
         wheres = 'where product_class_id=' + str(product_class_id)
     # 页面索引
     page_number = convert_helper.to_int1(web_helper.get_query('page', '', is_check_null=False))
     # 页面显示记录数量
     page_size = convert_helper.to_int0(web_helper.get_query('rows', '', is_check_null=False))
     # 排序字段
     sidx = web_helper.get_query('sidx', '', is_check_null=False)
     # 顺序还是倒序排序
     sord = web_helper.get_query('sord', '', is_check_null=False)
     # 初始化排序字段
     order_by = 'id desc'
     ### 设置排序 ###
     if sidx:
         order_by = sidx + ' ' + sord
     # 类型
     type = web_helper.get_query('type', '类型', is_check_null=False)
     # 判断是否是前台提交获取数据
     if type != 'backstage':
         # 判断是否已经存在查询条件了，是的话在原查询条件后面拼接
         if wheres:
             wheres = wheres + ' and is_enable=1'
         else:
             wheres = 'where is_enable=1'

     #############################################################
     # 初始化输出格式（前端使用jqgrid列表，需要指定输出格式）
     data = {
         'records': 0,
         'total': 0,
         'page': 1,
         'rows': [],
     }
     #############################################################
     # 执行sql，获取指定条件的记录总数量
     sql = 'select count(1) as records from product %(wheres)s' % {'wheres': wheres}
     result = db_helper.read(sql)
     # 如果查询失败或不存在指定条件记录，则直接返回初始值
     if not result or result[0]['records'] == 0:
         return data
     # 保存总记录数量
     data['records'] = result[0].get('records', 0)

     #############################################################
     ### 设置分页索引与页面大小 ###
     # 设置分页大小
     if page_size is None or page_size <= 0:
         page_size = 10
     # 计算总页数
     if data['records'] % page_size == 0:
         page_total = data['records'] // page_size
     else:
         page_total = data['records'] // page_size + 1
     # 记录总页面数量
     data['total'] = page_total

     # 判断提交的页码是否超出范围
     if page_number < 1 or page_number > page_total:
         page_number = page_total
     # 记录当前页面索引值
     data['page'] = page_number

     # 计算当前页面要显示的记录起始位置
     record_number = (page_number - 1) * page_size
     # 设置查询分页条件
     paging = ' limit ' + str(page_size) + ' offset ' + str(record_number)

     #############################################################

     # 组合sql查询语句
     sql = "select * from product %(wheres)s order by %(orderby)s %(paging)s" % \
            {'wheres': wheres, 'orderby': order_by, 'paging': paging}
     # 读取记录
     result = db_helper.read(sql)
     if result:
         # 存储记录
         data['rows'] = result

     if data:
         # 直接输出json
         return web_helper.return_raise(json.dumps(data, cls=json_helper.CJsonEncoder))
     else:
         return web_helper.return_msg(-1, "查询失败")

　　代码看起来很长，有点复杂，对于这种列表分页查询，如果不封装的话，开发时复制粘贴就很容易出错，所以我们需要重新处理才行。

　　从上面代码可以看到，具体功能分为几个部分：

　　第一部分（9到33行）是接收并组合查询条件，接收分页参数和排序参数

　　第二部分（37到42行）是初始化结果输出参数

　　第三部分（44到51行）是获取查询总记录数

　　第四部分（55到75行）是计算总页数，计算当前分页位置要显示的记录位置区间

　　第五部分（80到92行）是组合查询语句，查询并输出结果

　　除了产品列表这个接口，大家可以看看产品分类列表接口，会发现两个接口第二部分到第五部分都差不多，所以我们封装ORM时，可以将这些相似部分进行处理，将它们封装到ORM对应的方法里。

　　首先，我们对上面代码的分析，可以提炼出分页查询方法需要有下面参数：查询字段、查询条件、当前分页索引值、每页显示记录数量、排序。如果是多表查询时，我们的ORM是直接绑定当前表单的就不适用了，所以还需要有个设置表名的参数，好灵活处理各种需求，根据这些要求，我们可以创建好列表查询方法：

def get_list(self, column_name_list='', wheres='', page_number=None, page_size=None, orderby=None, table_name=None):
    """
    获取指定条件的数据库记录集
    :param column_name_list:      查询字段
    :param wheres:      查询条件
    :param page_number:   分页索引值
    :param page_size:    分页大小， 存在值时才会执行分页
    :param orderby:     排序规则
    :param table_name:     查询数据表，多表查询时需要设置
    :return: 返回记录集总数量与分页记录集
        {'records': 0, 'total': 0, 'page': 0, 'rows': []}
    """

　　在接收到这些参数以后，我们需要对相关参数进行初始化操作，方便后续代码的执行

     # 初始化输出参数：总记录数量与列表集
     data = {
         'records': 0,   # 总记录数
         'total': 0,     # 总页数
         'page': 1,      # 当前页面索引
         'rows': [],     # 查询结果（记录列表）
     }
     # 初始化查询数据表名称
     if not table_name:
         table_name = self.__table_name
     # 初始化查询字段名
     if not column_name_list:
         column_name_list = self.__column_name_list
     # 初始化查询条件
     if wheres:
         # 如果是字符串，表示该查询条件已组装好了，直接可以使用
         if isinstance(wheres, str):
             wheres = 'where ' + wheres
         # 如果是list，则表示查询条件有多个，可以使用join将它们用and方式组合起来使用
         elif isinstance(wheres, list):
             wheres = 'where ' + ' and '.join(wheres)
     # 初始化排序
     if not orderby:
         orderby = self.__pk_name + ' desc'
     # 初始化分页查询的记录区间
     paging = ''

　　这里是对传入的参数和后续需要用到的参数进行初始化操作

　　这里需要初始化查询结果输出参数结构，在进行记录数查询时，如果没有记录存在，就可以直接将结果返回出去了；

　　默认数据表为当前类实体指定的表名称，如果进行多表联合查询时，就需要设置多表联合查询的组合表名称，比如：product left join product_class on product.product_class_id = product_class.id

　　同时我们还需要设置查询字段内容，如果想查询出所有字段，直接使用*，如果只想要输出指定的几个字段值，则可以填写这几个字段值，比如：id,name,content

　　在查询时，有时不需要查询条件，这时我们可以不填写条件，如果有指定条件时，我们可以将它们组合好，也可以放到list中。它们的区别在于，有多个查询条件时，我们有时很难判断当前条件前需不需要添加and，这时我们就可以使用' and '.join(列表) 来进行合成了，当然用list方式条件之间只能是and的关系。对于复杂的条件，我们可以组合好以后提交进来直接使用；

　　在查询时，如果没有指定排序方式，我们默认使用主键倒序来进行排序

　　在分页列表操作时，我们通常需要获取总记录数返回给前端，所以在执行查询前，我们需要获取当前查询条件的总记录数

     with db_helper.PgHelper(self.__db, self.__is_output_sql) as db:
         #############################################################
         # 判断是否需要进行分页
         if not page_size is None:
             ### 执行sql，获取指定条件的记录总数量
             sql = 'select count(1) as records from %(table_name)s %(wheres)s ' % \
                   {'table_name': table_name, 'wheres': wheres}
             result = db.execute(sql)
             # 如果查询失败或不存在指定条件记录，则直接返回初始值
             if not result or result[0]['records'] == 0:
                 return data

             # 设置记录总数量
             data['records'] = result[0].get('records')

　　加上if not page_size is None判断，是因为有时候我们查询时，不需要分页操作，直接将所有记录输出了，这里加上判断可以减少不必要的记录总数量查询

　　当我们获取到总记录数量以后，我们需要根据前端页面显示的记录数进行计算，计算出总页面数量，排除页面索引值超出限制可能会带来的异常，还有需要计算当前页面查询时对应的记录起始位置，组合分页查询条件pagin

             #########################################################
             ### 设置分页索引与页面大小 ###
             if page_size <= 0:
                 page_size = 10
             # 计算总分页数量：通过总记录数除于每页显示数量来计算总分页数量
             if data['records'] % page_size == 0:
                 page_total = data['records'] // page_size
             else:
                 page_total = data['records'] // page_size + 1
             # 判断页码是否超出限制，超出限制查询时会出现异常，所以将页面索引设置为最后一页
             if page_number < 1 or page_number > page_total:
                 page_number = page_total
             # 记录总页面数量
             data['total'] = page_total
             # 记录当前页面值
             data['page'] = page_number
             # 计算当前页面要显示的记录起始位置（limit指定的位置）
             record_number = (page_number - 1) * page_size
             # 设置查询分页条件
             paging = ' limit ' + str(page_size) + ' offset ' + str(record_number)
         #############################################################

　　最后，我们组合最终查询条件，查询并输出结果

         ### 按条件查询数据库记录
         sql = "select %(column_name_list)s from %(table_name)s %(wheres)s order by %(orderby)s %(paging)s" % \
               {'column_name_list': column_name_list,
                'table_name': table_name,
                'wheres': wheres,
                'orderby': orderby,
                'paging': paging}
         result = db.execute(sql)
         if result:
             data['rows'] = result
             # 不需要分页查询时，直接在这里设置总记录数
             if page_size is None:
                 data['records'] = len(result)

     return data

　　完整代码

    def get_list(self, column_name_list='', wheres='', page_number=None, page_size=None, orderby=None, table_name=None):
         """
         获取指定条件的数据库记录集
         :param column_name_list:      查询字段
         :param wheres:      查询条件
         :param page_number:   分页索引值
         :param page_size:    分页大小， 存在值时才会执行分页
         :param orderby:     排序规则
         :param table_name:     查询数据表，多表查询时需要设置
         :return: 返回记录集总数量与分页记录集
             {'records': 0, 'total': 0, 'page': 0, 'rows': []}
         """
         # 初始化输出参数：总记录数量与列表集
         data = {
             'records': 0,   # 总记录数
             'total': 0,     # 总页数
             'page': 1,      # 当前页面索引
             'rows': [],     # 查询结果（记录列表）
         }
         # 初始化查询数据表名称
         if not table_name:
             table_name = self.__table_name
         # 初始化查询字段名
         if not column_name_list:
             column_name_list = self.__column_name_list
         # 初始化查询条件
         if wheres:
             # 如果是字符串，表示该查询条件已组装好了，直接可以使用
             if isinstance(wheres, str):
                 wheres = 'where ' + wheres
             # 如果是list，则表示查询条件有多个，可以使用join将它们用and方式组合起来使用
             elif isinstance(wheres, list):
                 wheres = 'where ' + ' and '.join(wheres)
         # 初始化排序
         if not orderby:
             orderby = self.__pk_name + ' desc'
         # 初始化分页查询的记录区间
         paging = ''

         with db_helper.PgHelper(self.__db, self.__is_output_sql) as db:
             #############################################################
             # 判断是否需要进行分页
             if not page_size is None:
                 ### 执行sql，获取指定条件的记录总数量
                 sql = 'select count(1) as records from %(table_name)s %(wheres)s ' % \
                       {'table_name': table_name, 'wheres': wheres}
                 result = db.execute(sql)
                 # 如果查询失败或不存在指定条件记录，则直接返回初始值
                 if not result or result[0]['records'] == 0:
                     return data

                 # 设置记录总数量
                 data['records'] = result[0].get('records')

                 #########################################################
                 ### 设置分页索引与页面大小 ###
                 if page_size <= 0:
                     page_size = 10
                 # 计算总分页数量：通过总记录数除于每页显示数量来计算总分页数量
                 if data['records'] % page_size == 0:
                     page_total = data['records'] // page_size
                 else:
                     page_total = data['records'] // page_size + 1
                 # 判断页码是否超出限制，超出限制查询时会出现异常，所以将页面索引设置为最后一页
                 if page_number < 1 or page_number > page_total:
                     page_number = page_total
                 # 记录总页面数量
                 data['total'] = page_total
                 # 记录当前页面值
                 data['page'] = page_number
                 # 计算当前页面要显示的记录起始位置（limit指定的位置）
                 record_number = (page_number - 1) * page_size
                 # 设置查询分页条件
                 paging = ' limit ' + str(page_size) + ' offset ' + str(record_number)
             #############################################################

             ### 按条件查询数据库记录
             sql = "select %(column_name_list)s from %(table_name)s %(wheres)s order by %(orderby)s %(paging)s" % \
                   {'column_name_list': column_name_list,
                    'table_name': table_name,
                    'wheres': wheres,
                    'orderby': orderby,
                    'paging': paging}
             result = db.execute(sql)
             if result:
                 data['rows'] = result
                 # 不需要分页查询时，直接在这里设置总记录数
                 if page_size is None:
                     data['records'] = len(result)

         return data

　　我们在单元测试中跑一跑，看看结果吧

 #!/usr/bin/evn python
 # coding=utf-8

 import unittest
 from common.string_helper import string
 from logic import product_logic

 class DbHelperTest(unittest.TestCase):
     """数据库操作包测试类"""

     def setUp(self):
         """初始化测试环境"""
         print('------ini------')

     def tearDown(self):
         """清理测试环境"""
         print('------clear------')

     def test(self):
         ##############################################
         # 只需要看这里，其他代码是测试用例的模板代码 #
         ##############################################
         # 实例化product表操作类ProductLogic
         _product_logic = product_logic.ProductLogic()
         result = _product_logic.get_list('*', '', 1, 2)
         print(result)

         ##############################################

 if __name__ == '__main__':
     unittest.main()

　　输出结果

 -- -- --ini-- -- --
 {
     'records': 4,
     'total': 1,
     'page': 1,
     'rows': [{
         'content': '',
         'name': '名称',
         'place_of_origin': '',
         'front_cover_img': '',
         'code': '',
         'quality_guarantee_period': '',
         'product_class_id': 1,
         'standard': '',
         'add_time': datetime.datetime(2018, 8, 3, 16, 51, 3),
         'id': 15,
         'is_enable': 0
     }, {
         'content': '',
         'name': '张三',
         'place_of_origin': '',
         'front_cover_img': '',
         'code': '',
         'quality_guarantee_period': '',
         'product_class_id': 0,
         'standard': '',
         'add_time': datetime.datetime(2018, 8, 3, 0, 14, 14),
         'id': 14,
         'is_enable': 0
     }]
 }
 -- -- --clear-- -- --

　　前面的接口我们也改造一下

 @get('/api/product/')
 def callback():
     """
     获取列表数据
     """
     # 产品分类id
     product_class_id = convert_helper.to_int0(web_helper.get_query('product_class_id', '产品分类id', is_check_null=False))
     # 类型
     type = web_helper.get_query('type', '类型', is_check_null=False)
     # 页面索引
     page_number = convert_helper.to_int1(web_helper.get_query('page', '', is_check_null=False))
     # 页面显示记录数量
     page_size = convert_helper.to_int0(web_helper.get_query('rows', '', is_check_null=False))
     # 排序字段
     sidx = web_helper.get_query('sidx', '', is_check_null=False)
     # 顺序还是倒序排序
     sord = web_helper.get_query('sord', '', is_check_null=False)

     # 设置查询条件
     wheres = []
     if product_class_id > 0:
         wheres.append('product_class_id=' + str(product_class_id))
     # 判断是否是前台提交获取数据
     if type != 'backstage':
         wheres.append('is_enable=1')

     # 初始化排序字段
     orderby = None
     ### 设置排序 ###
     if sidx:
         orderby = sidx + ' ' + sord

     # 实例化product表操作类ProductLogic
     _product_logic = product_logic.ProductLogic()
     result = _product_logic.get_list('*', wheres, page_number, page_size, orderby)
     if result:
         return web_helper.return_raise(json.dumps(result, cls=json_helper.CJsonEncoder))
     else:
         return web_helper.return_msg(-1, "查询失败")

　　这样处理以后，代码看起来舒服多了

版权声明：本文原创发表于 博客园，作者为 AllEmpty 本文欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则视为侵权。

python开发QQ群：669058475（本群已满）、733466321（可以加2群）    作者博客：http://www.cnblogs.com/EmptyFS/