BHHH法

ベルント・ホール・ホール・ハウスマン法（ベルント・ホール・ホール・ハウスマンほう、英: Berndt–Hall–Hall–Hausman algorithm、略称：BHHH法）とは、数理最適化において負のヘッセ行列を勾配の外積に置き換えたニュートン・ラフソン法に類似したアルゴリズムである。この近似は情報行列等式に基づいており、尤度関数が最大化されるように割り当てられる^[1]。BHHH法はアーンスト・ベルント、ブロンウィン・ホール（英語版）、ロバート・ホール（英語版）、ジェリー・A・ハウスマンに因んで名づけられた^[2]。

データを非線形モデルによってあてはめるときの係数を推定するために最適化を行う。最適化に用いられるアルゴリズムでは以下のような構造を持つことが多い。最適化を行う関数を Q(β) とすると、各反復によって求まる点 ${\displaystyle \beta _{k}}$ は:

${\displaystyle \beta _{k+1}=\beta _{k}-\lambda _{k}A_{k}{\frac {\partial Q}{\partial \beta }}(\beta _{k}),}$

によって求まる。

ただし、${\displaystyle \beta _{k}}$ は k 番目に求まった点であり、${\displaystyle \lambda _{k}}$ はステップサイズを表すパラメータでアルゴリズムによってステップサイズの決定方法が異なる。BHHH法では ${\displaystyle \lambda _{k}}$ を点 ${\displaystyle \beta _{k+1}}$ がある基準を満たすまで直線探索によって求める。また、${\displaystyle Q}$ は以下のように表される:

${\displaystyle Q=\sum _{i=1}^{N}Q_{i}}$

そして、${\displaystyle A_{k}}$ は以下の式で求まる:

${\displaystyle A_{k}=\left[\sum _{i=1}^{N}{\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k}){\frac {\partial \ln Q_{i}}{\partial \beta }}(\beta _{k})'\right]^{-1}.}$

ニュートン・ラフソン法のような他の反復法は ${\displaystyle A_{k}}$ が異なった式で表されている。BHHH法は特殊な条件下では反復を繰り返すことによって収束することが保証されている点が利点となる^[要出典]。

• V. Martin, S. Hurn, and D. Harris, Econometric Modelling with Time Series, Chapter 3 'Numerical Estimation Methods'. Cambridge University Press, 2015.
• Amemiya, Takeshi (1985). Advanced Econometrics. Cambridge: Harvard University Press. pp. 137–138. ISBN 0-674-00560-0. https://archive.org/details/advancedeconomet00amem/page/137 
• Gill, P.; Murray, W.; Wright, M. (1981). Practical Optimization. London: Harcourt Brace 
• Gourieroux, Christian; Monfort, Alain (1995). “Gradient Methods and ML Estimation”. Statistics and Econometric Models. New York: Cambridge University Press. pp. 452–458. ISBN 0-521-40551-3. https://books.google.com/books?id=gqI-pAP2JZ8C&pg=PA452 
• Harvey, A. C. (1990). The Econometric Analysis of Time Series (Second ed.). Cambridge: MIT Press. pp. 137–138. ISBN 0-262-08189-X 

• DFP法
• BFGS法

表 話 編 歴 数理最適化 • 最適化問題 : メソッド • ヒューリスティック
非線形（無制約）	… 関数　 黄金分割探索 直線探索 ネルダー–ミード法 放物線補間 パウエル法 勾配法 収束性 信頼領域 ウルフ条件 準ニュートン法 BFGS法 ブロイデン法 L-BFGS法 DFP法 SR1法 BHHH法 その他の求解法 ガウス・ニュートン法 最急降下法（確率的） レーベンバーグ・マーカート法 共役勾配法（非線形共役勾配法） 打ち切りニュートン法 ドッグレッグ法 鏡像 座標 バルジライ・ボールウェイン法 … ヘッセ行列 最適化におけるニュートン法
非線形（制約付き）	一般 バリア関数 ペナルティ関数法 微分可能 ラグランジュの未定乗数法 拡張ラグランジュ関数法 逐次二次計画法 逐次線形計画法 逐次線形二次計画法
凸最適化	凸最小化 切除平面法 簡約勾配法 劣勾配法 近接勾配法 線形 および 二次 内点法 アフィンスケーリング法 カーマーカーの射影変換法 メロートラの予測子修正子法 基底-交換 単体法 改訂単体法 十文字法 レムケの相補掃き出し法 その他 カチヤンの楕円体法 有効制約法 列生成法 ベンダーズ分解法
組合せ最適化	系列範例 (Paradigms) 近似アルゴリズム 動的計画法 貪欲法 整数計画問題（分枝限定法・分枝カット法・分枝価格法） グラフ理論 最小全域木 ブルーフカ法 クラスカル法 プリム法 逆削除法 　最短経路問題 ベルマン–フォード法 ダイクストラ法 ワーシャル–フロイド法 ジョンソン法 ネットワークフロー 最大流問題 ディニッツ法 エドモンズ・カープ法 フォード・ファルカーソン法 プリフロープッシュ法 最小費用流問題 ネットワーク単体法
メタヒューリスティクス	進化的アルゴリズム（進化戦略・遺伝的アルゴリズム） 山登り法 局所探索法 焼きなまし法 タブーサーチ 群知能（ACO・PSO） ベイスンホッピング法 量子焼きなまし法
カテゴリ（最適化 • アルゴリズム） • ソフトウェア