미적분학은 변화에 대한 수학적 연구입니다. 복잡하지만 연속적인 문제를 풀기위한 미적분학의 효과는 문제를 무한히 간단한 부분으로 분할하고 개별적으로 해결한 다음 원래 전체로 재구성하는 능력에 있습니다. 이 전략은 기하학적 모양의 곡률, 비행 중인 물체의 궤적 또는 시간 간격 등 이러한 방식으로 슬라이스할 수 있는 모든 연속 요소를 연구하는 데 적용할 수 있습니다. 이 튜토리얼에서는 미적분학의 기원과 그 […]
딥러닝 신경망 모델은 확률적 경사하강법 최적화 알고리즘을 사용하는 훈련 데이터에 적합합니다. 모델의 가중치에 대한 업데이트는 오류 알고리즘의 역전파를 사용하여 수행됩니다. 최적화 알고리즘과 가중치 업데이트 알고리즘의 조합은 신중하게 선택되었으며 신경망에 적합한 것으로 알려진 가장 효율적인 접근 방식입니다. 그럼에도 불구하고 대체 최적화 알고리즘을 사용하여 신경망 모델을 훈련 데이터 세트에 맞출 수 있습니다. 이는 신경망이 작동하는 방식과 응용 머신러닝에서 […]
경사하강법은 함수의 최소값을 찾기 위해 목적 함수의 음의 기울기를 따르는 최적화 알고리즘입니다. 경사하강법의 한계는 경사가 평평하거나 큰 곡률이 될 경우 검색 진행이 느려질 수 있다는 것입니다. 업데이트에 약간의 관성을 통합하는 경사 하강에 모멘텀을 추가할 수 있습니다. 이것은 Nesterov의 가속 기울기 (NAG) 또는 Nesterov 운동량이라고하는 현재 위치가 아닌 예상된 새 위치의 기울기를 통합하여 더욱 향상시킬 수 […]
경사하강법은 함수의 최소값을 찾기 위해 목적 함수의 음의 기울기를 따르는 최적화 알고리즘입니다. 경사하강법의 한계는 모든 입력 변수에 대해 단일 단계 크기(학습률)가 사용된다는 것입니다. AdaGrad 및 RMSProp과 같은 경사하강법 확장은 각 입력 변수에 대해 별도의 스텝 크기를 사용하도록 알고리즘을 업데이트하지만 스텝 크기가 매우 작은 값으로 빠르게 줄어들 수 있습니다. 적응형 이동 추정 알고리즘 (Adaptive Movement Estimation algorithm) 또는 […]
차등 진화(Differential Evolution)는 글로벌 최적화 알고리즘입니다. 진화 알고리즘의 한 유형이며 유전 알고리즘과 같은 다른 진화 알고리즘과 관련이 있습니다. 유전 알고리즘과 달리 비트 문자열 대신 실제 값 숫자의 벡터에서 작동하도록 특별히 설계되었습니다. 또한 유전 알고리즘과 달리 벡터 빼기 및 더하기와 같은 벡터 연산을 사용하여 유전학에서 영감을 얻은 변환 대신 검색 공간을 탐색합니다. 이 자습서에서는 차등 진화 글로벌 최적화 […]
Dual Annealing은 확률적 글로벌 최적화 알고리즘입니다. 이것은 일반화된 시뮬레이션된 annealing 알고리즘의 구현으로, 시뮬레이션된 annealing의 확장입니다. 또한 시뮬레이션된 annealing 절차가 끝날 때 자동으로 수행되는 로컬 검색 알고리즘과 쌍을 이룹니다. 효과적인 전역 및 로컬 검색 절차의 이러한 조합은 까다로운 비선형 최적화 문제를 위한 강력한 알고리즘을 제공합니다. 이 자습서에서는 Dual Annealing 전역 최적화 알고리즘을 발견합니다. 이 자습서를 완료하면 다음을 알 […]
Simulated annealing은 확률적 글로벌 검색 최적화 알고리즘입니다. 이는 검색 프로세스의 일부로 임의성을 사용한다는 것을 의미합니다. 따라서 알고리즘은 다른 로컬 검색 알고리즘이 제대로 작동하지 않는 비선형 목적 함수에 적합합니다. 확률적 hill climbing 로컬 검색 알고리즘과 마찬가지로 단일 솔루션을 수정하고 로컬 최적값을 찾을 때까지 검색 공간의 상대적으로 로컬 영역을 검색합니다. hill climbing 알고리즘과 달리 현재 작동하는 솔루션으로 더 나쁜 솔루션을 […]
함수 최적화를 위해서는 검색 공간을 효율적으로 샘플링하고 좋은 솔루션 또는 최상의 솔루션을 찾기 위한 알고리즘 선택이 필요합니다. 선택할 수 있는 알고리즘은 많지만 문제에 대해 실현 가능하거나 가능한 솔루션 유형에 대한 기준을 설정하는 것이 중요합니다. 이것은 무작위 검색 또는 그리드 검색과 같은 Naive 최적화 알고리즘을 사용하여 달성할 수 있습니다. Naive 최적화 알고리즘에 의해 달성된 결과는 보다 정교한 최적화 알고리즘을 […]
stochastic hill climbing은 최적화 알고리즘입니다. 검색 프로세스의 일부로 임의성을 사용합니다. 따라서 알고리즘은 다른 로컬 검색 알고리즘이 제대로 작동하지 않는 비선형 목적 함수에 적합합니다. 또한 로컬 검색 알고리즘으로, 단일 솔루션을 수정하고 로컬 최적값을 찾을 때까지 검색 공간의 상대적으로 로컬 영역을 검색합니다. 이는 단일 모드 최적화 문제 또는 전역 최적화 알고리즘 적용 후 사용하기에 적합하다는 것을 의미합니다. 이 튜토리얼에서는 […]
최적화에는 함수의 최소 또는 최대 출력값을 생성하는 목적 함수에 대한 입력값을 찾는 작업이 포함됩니다. SciPy라는 과학 컴퓨팅을 위한 오픈 소스 Python 라이브러리는 최적화 알고리즘 모음을 제공합니다. 많은 알고리즘이 다른 알고리즘, 특히 scikit-learn 라이브러리의 머신러닝 알고리즘에서 빌딩 블록으로 사용됩니다. 이러한 최적화 알고리즘은 함수를 최적화하기 위해 독립형 방식으로 직접 사용할 수 있습니다. 특히 로컬 검색용 알고리즘과 전역 검색을 […]