libcloud代码研究（三）——bugs

Bug 1：对不可迭代类进行迭代（libcloud.storage.driver.cloudfile line. 141-142）

     使用libcloud连接自搭建swift服务，自己在服务器上搭建swift服务，利用keystone进行认证（swift自带认证服务swauth libcloud好像不支持），配置好keystone服务器（keystone服务器ip为192.168.137.201），先利用curl命令确认swift和keystone服务是正常运行。

     执行如下几行代码进行openstack StorageDriver类的初始化：   

 CloudDriver = get_driver(Provider.CLOUDFILES_SWIFT)
 driver = CloudDriver(user_id, passwd, secure=False, region='RegionOne',
                      ex_tenant_name=tenant_name,
                      ex_force_auth_url='http://192.168.137.201:35357',
                      ex_force_auth_version='2.0_passwd',
                      ex_force_service_type='object-store',
                      ex_force_service_name='Swift')

     注意，其中auth_url要与自己认证服务器url一致，且auth_version/service_type/service_name等信息均要与keystone服务器中相应信息一致，否则将无法获取endpoint！

     即便如此，仍旧无法获得endpoint，经过跟踪调试，最终将错误定位于libcloud.storage.driver中cloudfiles.py文件中line. 141-142:        

 if PUBLIC_ENDPOINT_KEY in endpoint:
                return endpoint[PUBLIC_ENDPOINT_KEY]

此处endpoint为OpenStackServiceCatalogEntryEndpoint类对象，此类中并未定义迭代方法，无法对一个不可迭代类进行迭代！将上面两行代码修改为：  

  if endpoint.url:
                return endpoint.url

代码即可正常运行。

 

Bug 2：死循环（libcloud.storage.driver.cloudfiles line. 728-751）

 while True:
             container_name_encoded = \
                 self._encode_container_name(container.name)
             response = self.connection.request('/%s' %
                                                (container_name_encoded),
                                                params=params)

             if response.status == httplib.NO_CONTENT:
                 # Empty or non-existent container
                 break
             elif response.status == httplib.OK:
                 objects = self._to_object_list(json.loads(response.body),
                                                container)

                 if len(objects) == 0:
                     break

                 for obj in objects:
                     yield obj
                 params['marker'] = obj.name

     此循环，是为了列出一个container中符合要求的所有object，但在依照此代码对百度云存储进行封装时输出结果陷入死循环，在最后一行添加break语句后代码正常运行。

     在连接swift时尚未运行此段代码，不知其是否也会出现问题。

 

Bug 3：对上传文件进行二次迭代错误（libcloud.storage.base line. 622-637 734-782）

line 734:    

         generator = libcloud.utils.files.read_in_chunks(iterator, chunk_size)

         bytes_transferred = 0
         try:
             chunk = next(generator)
         except StopIteration:
             # Special case when StopIteration is thrown on the first iteration
             # create a 0-byte long object
             chunk = ''

     对文件的流式上传，每次均需要调用base.py中_upload_object()和_stream_data()函数。而我在对百度云存储封装流式上传函数时，每次上传文件均不成功，上面_stream_data()中代码每次都会进入StopIteration异常处理流程，上传一个空文件。

     后来我发现是因为百度云不支持文件分块编码上传，故supports_chunked_encoding =False。在_upload_object()中会执行一次read_in_chunks()，而上面代码再次执行read_in_chunks()时，文件迭代器iterator已经指向文件末尾，故chunk = next(generator)总是异常。

     仔细思考后，我在read_in_chunks()函数（libcloud.utils.file line. 36-94）开头添加如下两行代码：         

 if isinstance(iterator, file) and iterator.tell():
                iterator.seek(0,os.SEEK_SET)

即如果迭代器类型为文件且文件当前位置不为起始位置，将其位置置于起始位置。后代码正常运行。

 

     开源代码也是人写的，也许在以后使用libcloud过程中，会发现更多bug。勿迷信他人代码，相信自己判断。