1. Keras Demo2

前节的Keras Demo代码:

import numpy as np
from keras.models import Sequential
from keras.layers.core import Dense,Dropout,Activation
from keras.optimizers import SGD,Adam
from keras.utils import np_utils
from keras.datasets import mnist def load_data():
(x_train,y_train),(x_test,y_test)=mnist.load_data()
number=10000
x_train=x_train[0:number]
y_train=y_train[0:number]
x_train=x_train.reshape(number,28*28)
x_test=x_test.reshape(x_test.shape[0],28*28)
x_train=x_train.astype('float32')
x_test=x_test.astype('float32')
y_train=np_utils.to_categorical(y_train,10)
y_test=np_utils.to_categorical(y_test,10)
x_train=x_train
x_test=x_test
x_train=x_train/255
x_test=x_test/255
return (x_train,y_train),(x_test,y_test) (x_train,y_train),(x_test,y_test)=load_data() model=Sequential()
model.add(Dense(input_dim=28*28,units=633,activation='sigmoid'))
model.add(Dense(units=633,activation='sigmoid'))
model.add(Dense(units=633,activation='sigmoid'))
model.add(Dense(units=10,activation='softmax')) model.compile(loss='mse',optimizer=SGD(lr=0.1),metrics=['accuracy']) model.fit(x_train,y_train,batch_size=100,epochs=20) result= model.evaluate(x_test,y_test) print('TEST ACC:',result[1])

Keras Demo中的结果不是很好,看一下在Training Data上的结果:

result= model.evaluate(x_test,y_test)
result2 = model.evaluate(x_train,y_train,batch_size=10000) print('TEST ACC:',result[1])
print('TRAIN ACC:',result2[1])

结果如下:

TEST ACC: 0.1135
TRAIN ACC: 0.1128000020980835

说明在Training Data上结果也不好,接下来开始调参:

loss function

分类问题mse不适合,将loss mse function 改为categorical_crossentropy

model.compile(loss='categorical_crossentropy',optimizer=SGD(lr=0.1),metrics=['accuracy'])

结果如下:

TEST ACC: 0.8488
TRAIN ACC: 0.8611000180244446

batch_size

batch_size从100改为10000,得到的结果不好。

model.fit(x_train,y_train,batch_size=10000,epochs=20)

结果如下:

TEST ACC: 0.101
TRAIN ACC: 0.10320000350475311

改为1,无法并行,速度变得很慢。

model.fit(x_train,y_train,batch_size=1,epochs=20)

deep layer

加10层,没有train起来。

for _ in range(10):
model.add(Dense(units=689,activation='sigmoid'))

结果如下:

TEST ACC: 0.101
TRAIN ACC: 0.10320000350475311

activation functon

把sigmoid都改为relu,发现现在train的accuracy就爬起来了,接近100%,在Test Data上也表现很好。

结果如下:

TEST ACC: 0.9556
TRAIN ACC: 0.9998000264167786

normalize

如果不进行normalize,把255去掉,得到的结果又不好了,这些细节也很重要。

# x_train=x_train/255
# x_test=x_test/255

结果如下:

TEST ACC: 0.098
TRAIN ACC: 0.10010000318288803

optimizer

把SGD(lr=0.1)改为Adam,然后再跑一次,用adam的时候最后收敛的地方差不多,但是上升的速度变快了。

结果如下:

TEST ACC: 0.9667
TRAIN ACC: 1.0

Random noise

加上noise之后,结果不好,overfitting了。

x_test=np.random.normal(x_test)

结果如下:

TEST ACC: 0.4986
TRAIN ACC: 0.9991000294685364

dropout

dropout 加在每个hidden layer之后,dropout加入之后,train的效果会变差,然而test的正确率提升了。

model.add(Dense(input_dim=28*28,units=689,activation='relu'))
model.add(Dropout(0.7))
model.add(Dense(units=689,activation='relu'))
model.add(Dropout(0.7))
model.add(Dense(units=689,activation='relu'))
model.add(Dropout(0.7))
model.add(Dense(units=10,activation='softmax'))

结果如下:

TEST ACC: 0.594
TRAIN ACC: 0.9894000291824341

2. FizzBuzz

题目描述:

给你100以内的数. 如果这个数被3整除,打印fizz.

如果这个数被5整除,打印buzz.

如果这个数能同时被3和5整除,打印fizz buzz.

FizzBuzz是一个很有意思的题目,如果用深度学习的方法来做的话,可以用如下代码实现。

数据准备:

对数字101到1000都做了数据标注,即训练数据xtrain.shape=(900,10),

每一个数字都是用二进位来表示,第一个数字是101,用二进位来表示即为[1,0,1,0,0,1,1,0,0,0],

每一位表示\(2^{n-1}\),\(n\)表示左数第几位。现在一共有四个case,[一般,Fizz,Buzz,Fizz Buzz],所以y_train.shape=(900,10),对应的维度用1表示,其他都为0。

from keras.layers.normalization import BatchNormalization
from keras.models import Sequential
from keras.layers.core import Dense,Dropout,Activation
from keras.optimizers import SGD,Adam
import numpy as np
def fizzbuzz(start, end):
x_train, y_train=[],[]
for i in range(start, end+1):
num = i
tmp = [0]*10
j = 0
while num:
tmp[j] = num & 1
num = num >> 1
j += 1
x_train.append(tmp)
if i % 3 == 0 and i % 5 == 0:
y_train.append([0,0,0,1])
elif i % 3 == 0:
y_train.append([0,1,0,0])
elif i % 5 == 0:
y_train.append([0,0,1,0])
else:
y_train.append([1,0,0,0])
return np.array(x_train), np.array(y_train)
x_train,y_train = fizzbuzz(101, 1000) #打标记函数
x_test,y_test = fizzbuzz(1, 100) model = Sequential()
model.add(Dense(input_dim=10, output_dim=100))
model.add(Activation('relu'))
model.add(Dense(output_dim=4))
model.add(Activation('softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(x_train, y_train, batch_size=20, nb_epoch=100) result = model.evaluate(x_test, y_test, batch_size=1000) print('Acc:',result[1])

最后的结果不是100%,所以我们将hidden neure从100改为1000,结果就是100%了。

model.add(Dense(input_dim=10, output_dim=1000))

【笔记】机器学习 - 李宏毅 - 11 - Keras Demo2 & Fizz Buzz的更多相关文章

  1. 【笔记】机器学习 - 李宏毅 - 9 - Keras Demo

    3.1 configuration 3.2 寻找最优网络参数 代码示例: # 1.Step 1 model = Sequential() model.add(Dense(input_dim=28*28 ...

  2. 李宏毅 Tensorflow解决Fizz Buzz问题

    提出问题 一个网友的博客,记录他在一次面试时,碰到面试官要求他在白板上用TensorFlow写一个简单的网络实现异或(XOR)功能.这个本身并不难,单层感知器不能解决异或问题是学习神经网络中的一个常识 ...

  3. [LeetCode] Fizz Buzz 嘶嘶嗡嗡

    Write a program that outputs the string representation of numbers from 1 to n. But for multiples of ...

  4. LeetCode 412. Fizz Buzz

    Problem: Write a program that outputs the string representation of numbers from 1 to n. But for mult ...

  5. LeetCode Fizz Buzz

    原题链接在这里:https://leetcode.com/problems/fizz-buzz/ 题目: Write a program that outputs the string represe ...

  6. [重构到模式-Chain of Responsibility Pattern]把Fizz Buzz招式重构到责任链模式

    写一段程序从1打印到100,但是遇到3的倍数时打印Fizz,遇到5的倍数时打印Buzz,遇到即是3的倍数同时也是5的倍数时打印FizzBuzz.例如: 1 2 Fizz 4 Buzz Fizz 7 8 ...

  7. [Swift]LeetCode412. Fizz Buzz

    Write a program that outputs the string representation of numbers from 1 to n. But for multiples of ...

  8. LeetCode算法题-Fizz Buzz(Java实现)

    这是悦乐书的第221次更新,第233篇原创 01 看题和准备 今天介绍的是LeetCode算法题中Easy级别的第88题(顺位题号是412). 编写一个程序,输出从1到n的数字的字符串表示.但对于三的 ...

  9. 9. Fizz Buzz 问题

    Description Given number n. Print number from 1 to n. But: when number is divided by 3, print " ...

随机推荐

  1. OpenCV3入门(四)图像的基础操作

    1.访问图像像素 1)灰度图像 2)彩色图像 OpenCV中的颜色顺序是BGR而不是RGB. 访问图像的像素在OpenCV中就是访问Mat矩阵,常用的有三种方法. at定位符访问 Mat数据结构,操作 ...

  2. non-local static 变量初始化顺序不确定,带来的问题

    所谓static对象,其寿命从被构造出来直到程序结束为止,因此stack和heap-based对象都被排除.这种对象包括global对象.定义于namespace作用域内的对象,classes内.在函 ...

  3. 每日一练_PAT_B_PRAC_1004客似云来

    题目描述 NowCoder开了一家早餐店,这家店的客人都有个奇怪的癖好:他们只要来这家店吃过一次早餐,就会每天都过来:并且,所有人在这家店吃了两天早餐后,接下来每天都会带一位新朋友一起来品尝.于是,这 ...

  4. Codeforces_714

    A.相遇时间段l = max(l1,l2),r = min(r1,r2),再判断k是否在里面. #include <iostream> using namespace std; long ...

  5. python之字典遍历方法

    字典遍历分为三种: 遍历key 遍历value 遍历key-value key遍历: >>> person={','city':'BeiJing'} >>> for ...

  6. 《Head first设计模式》之抽象工厂

    抽象工厂模式提供一个接口,用于创建相关或依赖对象的家族,而不需要明确指定具体类. 确保原料的一致 披萨店成功的关键在于新鲜.高质量的原料.要如何确保每家加盟店使用高质量的原料?你打算建造一家生成原料的 ...

  7. 达梦数据库-RAC-DMDSC部署的关键点

    达梦数据库-RAC-DMDSC部署的关键点 环境准备 网络准备(ip地址分配).共享磁盘准备和挂载 ifconfig enp0s8 10.1.2.101;ifconfig enp0s9 192.168 ...

  8. 推荐算法之因子分解机(FM)

    在这篇文章我们将介绍因式分解机模型(FM),为行文方便后文均以FM表示.FM模型结合了支持向量机与因子分解模型的优点,并且能够用了回归.二分类以及排序任务,速度快,是推荐算法中召回与排序的利器.FM算 ...

  9. Nginx location配置 正则表达式

    一. location 的匹配符 Syntax: location [ = | ~ | ~* | ^~ ] uri { ... }location @name { ... }     1.  语法格式 ...

  10. Jenkins新建节点找不到通过Java web启动代理?

    参考博客:Jenkins新建节点,启动方式没有“通过Java Web启动代理”选项怎么办? 在Jenkins中,打开“系统管理”→“管理节点”→“新建节点”页面时,“启动方式”选项没有“通过Java ...