tensorflow与神经网络中遇到的问题与解决方法【持续更新】
1、如何在全连接层拼接特征?
有一种方法是有两个input,一个input通过网络最终达到全连接层,另一个input直接接一个全连接网络,神经元数是特征数,这两个可以进行一个concat。 当然了也可以直接输入特征concat到全连接层,但是据说前者效果要好一点。
2、word2vec词向量如何在网络中更新?
在我的一个模型中(网络层次较浅),我用word2vec词向量的效果比之用随机词向量然后更新的效果要远远远远远远的不如!!!很绝望,发现word2vec词向量生成tensor又不能更新,不能微调!解决办法有两个:
- 输入的word2vec词向量先接一个全连接层,进行参数的更新。加个dense层就行
- 将这个权重更改为可训练的,如下代码:
- W = tf.get_variable(name="W", shape=embedding.shape, initializer=tf.constant_initializer(embedding), trainable=False)
3、RNN中的输出,state和output?
参考文章:https://blog.csdn.net/taoqick/article/details/79475350
简单来说如果是单层gru或者单层普通rnn,那么output和state是一样的;但如果是lstm cell ,那么state是包含c和h的,而output只有h,那么我们一般在接下一层网络进行后面的处理的时候是用的它的h,这样的话用output也是一样的。再看,如果是多层的cell,那么用output来代表h,其实也行,但是这个h是最上层的cell输出的h!
4、tensorflow矩阵转置?
有的时候比如说tensor的shape是(A,B,C)
这时候我想要将其shape转化为(A,C,B)
用到一个函数,tf.transpose()
参考文章:https://blog.csdn.net/banana1006034246/article/details/75126815
将(A,B,C)的tensor转化为(A,C,B)的tensor
out = tf.transpose(input,perm=[0,2,1])
更新于2019-7-23:
实在扛不住tf2.0的诱惑了,准备入坑,这边也会记录一些tf2.0中会遇到的问题。
5、Tensor转list
这不是很简单吗? a.eval()就转化成a的list形式了啊
no,tf2.0可以使用动态计算图,当使用动态计算图的时候,你可能会得到一个EagerTensor结果,这个东西是不能用eval()方法转化成list的。
需要用 a.numpy() 的方法转化成list。
tensorflow与神经网络中遇到的问题与解决方法【持续更新】的更多相关文章
- Android开发中的问题及相应解决(持续更新)
最近博客写的少了,以后还得经常更新才行. ------------------------------------------------------------ 1.特定业务需求下try cath ...
- Myeclipse中web project各种常见错误及解决方法(持续更新)
创建web project时的问题 error:Install Dynamic web Module Facet卡住 solution:把网络关掉再创建就可以 Servlet error:The se ...
- VS2012中丢失ArcGIS模板的解决方法
VS2012中丢失ArcGIS模板的解决方法 由于ArcGIS10.0(for .NET)默认是用VS2010作为开发工具的,所以在先安装VS2012后装ArcGIS10.0 桌面版及ArcObjec ...
- js中style.display=""无效的解决方法
本文实例讲述了js中style.display=""无效的解决方法.分享给大家供大家参考.具体解决方法如下: 一.问题描述: 在js中我们有时想动态的控制一个div显示或隐藏或更多 ...
- java开发中遇到的问题及解决方法(持续更新)
摘自 http://blog.csdn.net/pony12/article/details/38456261 java开发中遇到的问题及解决方法(持续更新) 工作中,以C/C++开发为主,难免与其他 ...
- SpringBoot拦截器中无法注入bean的解决方法
SpringBoot拦截器中无法注入bean的解决方法 在使用springboot的拦截器时,有时候希望在拦截器中注入bean方便使用 但是如果直接注入会发现无法注入而报空指针异常 解决方法: 在注册 ...
- asp.net url址址中中文汉字参数传递乱码解决方法
中文乱码是网站开发中会常碰到的问题,今天我们来讲一下关于url址址中中文汉字参数传递乱码解决方法,有需要的朋友可以参考下.在cs文件里传参的时候用UrlEncode: Response.Redirec ...
- @NamedEntityGraphs --JPA按实体类对象参数中的字段排序问题得解决方法
JPA按实体类对象参数中的字段排序问题得解决方法@Entity @Table(name="complaints") @NamedEntityGraphs({ @NamedEntit ...
- 关于验证码在IE中不刷新的快速解决方法
今天在做验证码的时候发现在IE中,验证码不会刷新,而谷歌等其他浏览器没有问题,所以我想到应该是缓存问题,因为IE默认的设置是如果访问地址没变化就不会去获取而是加载缓存中的内容 所以解决方案就是在验证码 ...
随机推荐
- python:校验邮箱格式
# coding:utf-8 import re def validateEmail(email): if re.match("^.+\\@(\\[?)[a-zA-Z0-9\\-\\.]+\ ...
- java.sql.SQLException: Zero date value prohibited
今天使用mybatis出现了异常 java.sql.SQLException: Zero date value prohibited 查了下原因 mysql文档上写着 Datetimes with a ...
- idea创建maven web项目需要注意的一些细节
在idea中构建maven java web项目,从new project到选择maven骨架到最后finish完成,整个流程完成后,项目基本结构已经出来,但是距一个可以正常开发运行的web项目还有一 ...
- 解决ViewPager与百度地图滑动冲突
一.问题描述 ViewPager中嵌套百度地图的时候会出现百度地图滑动冲突. 二.期望结果: 滑动地图的时候只有地图滑动,滑动其他区域可以切换viewpager. 三.解决方法 自定义viewpage ...
- csu 1987: 绚丽的手链
1987: 绚丽的手链 Submit Page Summary Time Limit: 6 Sec Memory Limit: 512 Mb Submitted: 13 ...
- docker+k8s基础篇五
Docker+K8s基础篇(五) service资源介绍 A:service资源的工作特性 service的使用 A:service字段介绍 B:ClusterIP的简单使用 C:NodePort的简 ...
- springcloud feign 调用
client端调用feigh, 要在启动类上添加@EnableFeignClients注解,并添加扫描: 不然会调用失败,找不到调用方法
- [CMD] 批处理
https://www.tutorialspoint.com/batch_script/batch_script_commands.htm
- 长连接、短连接、长轮询和WebSocket
//转发,格式待整理 2017-08-0519784View0 对这四个概念不太清楚,今天专门搜索了解一下,总结一下: 长连接:在HTTP 1.1,客户端发出请求,服务端接收请求,双方建立连接,在服务 ...
- 玩转Spring全家桶笔记 04 Spring的事务抽象、事务传播特性、编程式事务、申明式事务
1.Spring 的事务抽象 Spring提供了一致的事务模型 JDBC/Hibernate/Mybatis 操作数据 DataSource/JTA 事务 2.事务抽象的核心接口 PlatformTr ...