Alglib 求解函數最小值_ZenDei技術網路在線

ALglib 是一個跨平臺的數值分析和數據處理庫。它支持多種編程語言(C + + 、 C # 、 Delphi)和多種操作系統(Windows 和 POSIX，包括 Linux)。 ALglib 功能包括：數據分析(分類/回歸，統計學) 優化和非線性解法插值和線性/非線性最小二乘擬合線性代數( ...

ALglib 是一個跨平臺的數值分析和數據處理庫。它支持多種編程語言(C + + 、 C # 、 Delphi)和多種操作系統(Windows 和 POSIX，包括 Linux)。

ALglib 功能包括：

數據分析(分類/回歸，統計學)
優化和非線性解法
插值和線性/非線性最小二乘擬合
線性代數(直接演算法，EVD/SVD) ，直接和迭代線性解法
快速傅里葉變換和許多其他演算法

ALglib 官方網站：https://www.alglib.net/
ALglib 開發者手冊：https://www.alglib.net/docs.php 手冊內有詳細的示例可以參考。C#文檔點擊官方文檔manual.csharp.html查閱。

以下用C#實現的函數最小值做說明。

public static void  function1_fvec(double[] x, double[] fi, object obj)
{
    //
    // this callback calculates
    // f0(x0,x1) = 100*(x0+3)^4,
    // f1(x0,x1) = (x1-3)^4
    //
    fi[0] = 10*System.Math.Pow(x[0]+3,2);
    fi[1] = System.Math.Pow(x[1]-3,2);
}
public static int Main(string[] args)
{
    //
    // This example demonstrates minimization of F(x0,x1) = f0^2+f1^2, where 
    //
    //     f0(x0,x1) = 10*(x0+3)^2
    //     f1(x0,x1) = (x1-3)^2
    //
    // with boundary constraints
    //
    //     -1 <= x0 <= +1
    //     -1 <= x1 <= +1
    //
    // using "V" mode of the Levenberg-Marquardt optimizer.
    //
    // Optimization algorithm uses:
    // * function vector f[] = {f1,f2}
    //
    // No other information (Jacobian, gradient, etc.) is needed.
    //
    double[] x = new double[]{0,0};
    double[] s = new double[]{1,1};
    double[] bndl = new double[]{-1,-1};
    double[] bndu = new double[]{+1,+1};
    double epsx = 0.0000000001;
    int maxits = 0;
    alglib.minlmstate state;

    //
    // Create optimizer, tell it to:
    // * use numerical differentiation with step equal to 1.0
    // * use unit scale for all variables (s is a unit vector)
    // * stop after short enough step (less than epsx)
    // * set box constraints
    //
    alglib.minlmcreatev(2, x, 0.0001, out state);
    alglib.minlmsetbc(state, bndl, bndu);
    alglib.minlmsetcond(state, epsx, maxits);
    alglib.minlmsetscale(state, s);

    //
    // Optimize
    //
    alglib.minlmoptimize(state, function1_fvec, null, null);

    //
    // Test optimization results
    //
    // NOTE: because we use numerical differentiation, we do not
    //       verify Jacobian correctness - it is always "correct".
    //       However, if you switch to analytic gradient, consider
    //       checking it with OptGuard (see other examples).
    //
    alglib.minlmreport rep;
    alglib.minlmresults(state, out x, out rep);
    System.Console.WriteLine("{0}", alglib.ap.format(x,2)); // EXPECTED: [-1,+1]
    System.Console.ReadLine();
    return 0;
}

官方示例 minlm_d_vb example

此演算法計算出給定x1,x2,x3...範圍內函數f(x1),f(x2),f(x3)...的平方和最小時的x1,x2,x3...數值。以下介面函數存在多個重載，以其中一個記錄說明

1、介面函數minlmcreatev，創建優化器。存在兩個重載，示例用的alglib.minlmcreatev( int m, double[] x, double diffstep, out minlmstate state, alglib.xparams _params =alglib.xdefault)，可參考以下另一個重載的說明。

/// <summary>
/// 創建優化器
/// </summary>
/// <param name="n">x數量</param>
/// <param name="m">f[i] 數量</param>

/// <param name="x">實例化的x數組，用於最終結果輸出</param>
/// <param name="diffstep">微分步長（值>0）</param>
/// <param name="state">存儲演算法狀態的結構</param>
/// <param name="_params"></param>

static void alglib.minlmcreatev(int n,int m, double[] x,double diffstep,out minlmstate state,alglib.xparams _params = alglib.xdefault)

2、介面函數minlmsetbc，為LM優化器設置邊界約束

/// <summary>
/// 為LM優化器設置x驗證值邊界約束
/// </summary>
/// <param name="state">存儲演算法狀態的結構</param>
/// <param name="bndl">x1,x2,x3...設置的最小值組合</param>
/// <param name="bndu">x1,x2,x3...設置的最大值組合</param>
/// <param name="_params"></param>
public static void alglib.minlmsetbc(minlmstate state, double[] bndl, double[] bndu, alglib.xparams _params = alglib.xdefault);

3、介面函數minlmsetcond，設置LM優化演算法的停止條件

/// <summary>
/// 設置LM優化演算法的停止條件
/// </summary>
/// <param name="state">存儲演算法狀態的結構</param>
/// <param name="epsx">如果在 k + 1次迭代中滿足條件 | v | < = EpsX，則子常式完成其工作，其中:

* | 。| 表示歐氏範數

* v-刻度步進向量，v [ i ] = dx [ i ]/s [ i ]

* dx-ste 向量，dx = X (k + 1)-X (k)

* s-刻度繫數由 MinLMSetScale ()設置推薦值: 1E-9... 1E-12。</param>
/// <param name="maxits">最大迭代次數。如果 MaxIt = 0，則迭代次數是無限的。</param>
/// <param name="_params"></param>
public static void alglib.minlmsetcond(minlmstate state, double epsx, int maxits, alglib.xparams _params = alglib.xdefault);

4、介面函數minlmsetscale，設置 LM 優化器的比例繫數。

/// <summary>
/// 設置 LM 優化器的比例繫數。
/// </summary>
/// <param name="state">存儲演算法狀態的結構</param>
/// <param name="s">對應x個數的數組，非零尺度繫數</param>
/// <param name="_params"></param>
public static void alglib.minlmsetscale(minlmstate state, double[] s, alglib.xparams _params = alglib.xdefault);

5、介面函數minlmoptimize，啟動非線性優化器的迭代。fvec為包含多個f[i]的函數實現。以上示例迭代效果可參考底下的運行日誌圖片

/// <summary>
/// 啟動非線性優化器的迭代。
/// </summary>
/// <param name="state">存儲演算法狀態的結構</param>
/// <param name="fvec">迭代的函數族</param>
/// <param name="rep">每次迭代後調用的可選回調，可以為 NULL</param>
/// <param name="obj">外部傳入的參數值，可用於函數計算</param>
public static void minlmoptimize(minlmstate state, ndimensional_fvec fvec, ndimensional_rep rep, object obj);

6、介面函數minlmresults，萊文伯格-馬誇特演算法結果，得到最終計算的x數組結果，獲取opt結果報告

/// <summary>
/// 獲取演算法結果
/// </summary>
/// <param name="state">存儲演算法狀態的結構</param>
/// <param name="x">最終計算的x數組結果</param>
/// <param name="rep">opt結果報告</param>
/// <param name="_params"></param>
public static void alglib.minlmresults(minlmstate state, out double[] x, out minlmreport rep, alglib.xparams _params = alglib.xdefault);

示例中用到了兩個函數

 　　fi[0] = 10*(x[0]+3)^2;
    fi[1] = (x[1]-3)^2;

求解f[x0,x1] = fi[0]^2 + fi[1]^2 = 100*(x[0] + 3)^4 + (x[1] - 3)^4 的最小值。按數學計算可知，在整個域中，當x[0] = -3,x[1] = 3,時函數值最小，為0。

修改x數組最小最大邊界值，設置大於[-3,3]：

　　double[] bndl = new double[]{-10,-10};
    double[] bndu = new double[]{+10,+10};

以下為函數迭代記錄

迭代131次後，計算出結果x0=-3,x1=3;計算結束。

補充說明：演算法可結合最小二乘法。最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。求取誤差值最小時的一組參數值。