1.方法一：
利用梯度下降算法求解y=x^2的极值。
注意：此种方法，除了x的更新之外，还有一点需要注意，那就迭代停止的条件。可以设置一个阈值a，比较x更新前后的y的差的绝对值与阈值a的大小，即Δy与a的大小。当Δy＜=a时，停止迭代。
import numpy as np
def f(x):
return x**2
def h(x):
return 2*x
x = 2 #初始点（初始横坐标）
step = 0.8#（步长）
f_change = f(x)
f_current = f(x)
count = 0#迭代次数
while f_change>1e-10:#停止迭代的条件，差值小于10^-10的时候停止迭代
x = x-step*h(x)#更新x
tmp = f(x)#更新x之后的f(x)的值，用另一个变量接收
f_change = np.abs(f_current-tmp)#x更新前后的y的差值
f_current =tmp#将更新的f(x)传入下一次的迭代
count+=1#增加一次迭代次数
print('迭代了：%d次'%count,'\n''求得x为：',x,'\n''求得y为：',f_current)
----------------------------------------------------------------------------------------------------------------
运行结果为：
迭代了：25次
求得x为： -5.686057605985963e-06
求得y为： 3.233125109859082e-11
2.
# 梯度下降求函数极值点方法（二） # 梯度下降求y=(x-2)^2的极值点 # 原理：因为位于极值点附近的时候导数（梯度）趋近于0，自变量的变化速度也会变小。 # 当自变量的更新前后的差值达到设定的阈值的时候，则停止迭代 #导包 import numpy as np #原函数 def f(x): return x**2-4*x+4 #导数 def h(x): return 2*x-4 a = 16 #初始点（初始横坐标） step = 0.1#（步长） count =0#记录迭代次数 deta_a = 16#a更新前后的差值（初始值设定为起始点） error_rate = 1e-5#给定的阈值 while deta_a>error_rate: a = a-step*h(a) deta_a = np.abs(deta_a - a) count+=1 y = f(a) print('迭代次数%d'%count) print(a) print(y) print('极值点为（%f,%f）'%(a,y))
迭代次数49
2.0002497683462233
6.238422667337318e-08
极值点为（2.000250,0.000000）
3.
''' 梯度下降求函数极值点方法（三） 梯度下降求y=(x-2)^2的极值点 原理：因为位于极值点，函数的导数（梯度）=0。当函数的梯度的变化值达到设定的阈值的时候，则停止迭代 ''' #导包 import numpy as np #原函数 def f(x): return x**2-4*x+4 #导数 def h(x): return 2*x-4 a = 16 #初始点（初始横坐标） step = 0.1#（步长） count =0#记录迭代次数 deta_h = h(a)#a更新前后的差值（初始值设定为起始点，也可以设置为大于阈值的任意的数） error_rate = 1e-5#给定的阈值 while deta_h>error_rate: b = a-step*h(a)#更新a，用新的变量接收 deta_h = np.abs(h(b)-h(a)) count+=1 a = b-step*h(b) y = f(b) print('迭代次数%d'%count) print(a) print(y) print('极值点为（%f,%f）'%(a,y))
运行结果为：
迭代次数31
2.0000137311600463
2.9460078820875424e-10
极值点为（2.000014,0.000000）
