Чому ті, хто добре пояснює минуле, завжди неправильно прогнозують майбутнє?

Чому переобучення у квантових інвестиціях перетворює історичних переможців у майбутніх програшних?

“Переобучення” у житті

#01

Ретельно сплетена “брехня”

Якщо ви покажете керівнику квантового фонду майже ідеальну криву чистої вартості — мінімальні просідання, високий дохід, закономірності коливань, що нагадують серцебиття. Він швидше за все не зрадіє, а спокійно запитає: “Ти впевнений, що стратегія не переобучена?”

Квантові дослідження, як і будь-які інші, спрямовані на пошук закономірностей у масиві історичних цінових даних, але ця закономірність не для пояснення минулого, а для прогнозування майбутнього.

Що таке “переобучення”, у простих словах — це коли ваша модель працює надто добре, що крім пояснення минулого, вона нічого не знає про майбутнє.

Чому у світі інвестицій виникає суперечність між поясненням минулого і прогнозуванням майбутнього?

Наступні три малюнки ілюструють причини виникнення “переобучення”:

Ліва діаграма — “недообучення”: вона лише приблизно визначає, що сині точки зосереджені зліва, помаранчеві — справа, але межа дуже проста;

Центральна — “ідеальна модель”: вона за допомогою простої кривої описує межу між синіми і помаранчевими точками, лише кілька точок не відповідають моделі, їх можна вважати “шумом”, така модель має здатність до узагальнення, тобто “генералізація” — це коли досвід застосовний до більш широких сценаріїв.

Права — “переобучення”: вона не лише намагається провести межу між синіми і помаранчевими точками, а й включає кілька явно “шумових” точок у модель, що робить її дуже складною.

Уявіть, що ця модель, хоча й показує чудові результати на тренувальних даних, у реальній торгівлі, при зустрічі з новими, випадковими даними майбутнього, швидко вийде з ладу.

Причина “переобучення” у тому, що ви дуже прагнете знайти ідеальну стратегію, наприклад, коефіцієнт Шарпа > 2, максимальне просідання < 5%, тощо. Але фінансовий ринок — це середовище з дуже низьким співвідношенням сигналу до шуму, більшість цінових коливань — випадковий шум. Якщо ви прагнете досягти ідеальних показників, ваш** алгоритм автоматично почне підлаштовуватися під цей шум, сприймаючи його за сигнал, і створювати стратегію, яка є лише результатом підгонки під конкретний історичний набір даних.**

Як на правій діаграмі, “переобучена” стратегія постійно додає різні фільтри, наприклад “купувати тільки у вівторок”, “MACD золотий хрест і дощ у Пекіні того дня”, і так далі, а стратегія з 20 параметрами легше “зліпити” у красиву криву чистої вартості, ніж стратегія з 2 параметрами, і вона частіше піддається переобученню.

Наприклад, якщо аналізувати минулі результати лотереї за допомогою комп’ютера і мати достатньо параметрів, можна знайти формулу, яка ідеально пояснює закономірність розподілу виграшних номерів. Але після наступного розіграшу вона зламається, і потрібно додавати ще параметрів.

Суть переобучення — це використання надмірно складної моделі для пояснення світу, наповненого випадковістю.

Цікаво, що ця “обчислювальна пастка”, яка існує у високопродуктивних серверах, щодня відбувається у нашому мозку. У певному сенсі, багато наших глибоко закорінених життєвих переконань — це і є “переобучення” у житті.

#02

Емпіризм — це переобучення

У людського мозку близько 86B нейронів, і він має достатню “ємність” запам’ятовувати кожну травму, кожен успіх, кожну сильну емоцію, закодувавши їх у ваги майбутніх рішень. Це еволюційна перевага, але й ризик “переобучення”.

Різниця у тому, що квантові стратегії “переобучені” — це точна випадковість, а людський мозок — переобучений переважно через упередження.

Уявіть людину, яка двічі підряд зустрічає “здається дуже гарячий, але згодом обманутий” партнер. Вона може сформувати дві моделі:

Правильна модель: перед співпрацею потрібно ретельно досліджувати репутацію і поступово вкладати ресурси.

Переобучена модель: всі емоційні люди — шахраї. Якщо хтось проявляє емоційність — автоматично дистанціюватися.

Остання — це модель, яка підганяє минулі дані під конкретний випадок, втрачаючи здатність до узагальнення. У майбутньому вона може допомогти уникнути шахраїв, але й упустити щирих і гарячих партнерів.

У житті кілька сотень “ключових подій”, що реально змінюють долю:

• вибір університету, професії;

• вибір партнера, місця проживання;

• велика інвестиція у певний рік або кардинальна зміна під час кризи.

Використовувати кілька десятків прикладів для моделювання світу, що має безліч змінних і набагато складніший за фінансовий ринок, — у математичному сенсі майже неминуче.

Як і на трьох малюнках, більшість людей не задовольняється моделлю посередині, а намагається пояснити минуле моделлю з правого краю — “переобученою”.

Ще одна проблема — зворотній зв’язок. У квантових стратегіях ми часто використовуємо дохідність для підсилення моделі; у людській свідомості — більшість сильних відгуків дають більший “ваговий” внесок: сильний біль — у сотні разів сильніше за м’який, і це може призводити до надмірної ваги крайніх ситуацій у ретроспективі.

Коли людина досягає успіху завдяки “зусиллям + удачі”, її мозок швидко формує складну логіку. Він включає температуру, поведінку, навіть цитати, якими він керується, у список ключових факторів успіху. Вона впевнена, що розгадала світ, але насправді це може бути лише випадковий промінь у хаосі.

Це “переобучення” у житті, яке ми називаємо “емпіризм” — використання обмеженого досвіду для побудови складних моделей, що втрачають здатність до узагальнення.

Ще гірше, що людський мозок має схильність до “переобучення”, але не має наукових механізмів його виправляти.

#03

Життя без тестового набору

Щоб уникнути “переобучення”, у квантових стратегіях застосовують наукові методи — розділяють дані на тренувальні та тестові набори, будують логіку на тренувальних даних і перевіряють її на тестових, або тренують на одних даних і перевіряють на нових.

Але у житті немає тренувальних і тестових наборів, життя не двічі входить у одну й ту ж ріку, і не можна створити копію себе, щоб у паралельних світах перевірити, чи працює досвід.

Ще важливіше — у людській психології є механізми захисту, які ускладнюють усвідомлення, що наші життєві “знання” — це лише “переобучення” минулого.

Наприклад, confirmation bias — коли, сформувавши переконання, ми шукаємо підтвердження й ігноруємо заперечення. Це схоже на додавання параметрів у “переобучену” модель, що підганяє її під нові дані, але віддаляє від істини.

Або атрибуційна помилка — коли успіх пояснюється власною мудрістю, а невдача — випадковістю або зовнішніми факторами. Це порушує об’єктивність оцінки і ускладнює корекцію стратегій.

Але, усвідомлюючи це, люди можуть створити власні механізми виправлення.

#04

Ізоляція досвіду

Щоб запобігти переобученню, квантові трейдери залишають “сліпий” набір даних, який не можна дивитись до моменту остаточного закріплення стратегії та параметрів. Тільки тоді, коли все визначено, цей набір використовується для остаточної перевірки.

Люди теж можуть застосовувати цей підхід.

Коли ви сформували тверду модель, не поспішайте вважати її істинною. Створіть у собі “ізоляційну зону”, у якій перед важливими рішеннями:

• шукайте нові сфери, що кардинально відрізняються від вашого досвіду;

• шукайте “протилежні” докази;

• дивіться з іншої перспективи;

• читайте книги з протилежною точкою зору;

• консультуйтеся з людьми з іншого бекграунду;

……

Запитайте себе: чи базується цей досвід на повторюваних логіках, чи лише на випадкових деталях? Чи зможе він працювати у іншому часі і з іншими людьми?

Для будь-якого цінного уроку нагадуйте собі: “Це може бути лише випадковий випадок, не робіть з цього висновків”.

І ще — розвивайте ймовірнісне мислення: сприймайте свої погляди як розподіл ймовірностей, а не як абсолют. Нові дані — оновлюють вашу апостеріорну ймовірність, а не руйнують усе.

#05

Простота — це шлях до істини

Зенон говорив: “Мій вік — обмежений, а знання — безмежне. З обмеженим — за безмежне.”

Як за допомогою обмеженого досвіду (тестових даних) реагувати на безмежні можливості (майбутній світ)?

У квантових інвестиціях існує відоме поняття “прокляття розмірності”: кожне додавання параметра наче збільшує пояснювальну здатність, але зменшує стабільність і життєздатність у геометричній прогресії. Більшість успішних стратегій мають не більше 5 ключових факторів.

Досвідчені трейдери схильні використовувати просту логіку, засновану на економічних принципах або мікроструктурі ринку. Наприклад, “середньовідхід” базується на психології паніки і жадібності, і ця логіка залишається актуальною вже понад 100 років і, ймовірно, ще довго буде.

Чим простіша логіка, тим краще вона проходить через різні цикли, оскільки захоплює сутність явищ, а не малює шум.

Ідеї Бенджаміна Грема — “інвестиції у хороші компанії + складний ефект” — дуже прості і стабільні, і багато хто вважає, що саме вони зробили його успішним.

Життя теж таке.

Складний шлях до успіху, залежний від конкретних зв’язків, політики, галузевих бонусів, — легко руйнується при зміні обставин. А ті “прості стратегії”, що базуються на здоровому глузді, — чесності, складному відсотку, безперервному навчанні, управлінні ризиками — хоча й здаються менш ефективними у короткостроковій перспективі, мають більшу стійкість і здатні пройти через багато життєвих циклів.

Саме цю сучасну наукову інтерпретацію “великого шляху до простоти” дає давня мудрість — “Окамова бритва”, а також “принцип Оккама” у західній філософії.

Не намагайтеся аналізувати всі невдачі і підганяти кожен успіх під складну модель. Визнати випадковість, зберігати простоту у житті і завжди ставитися з критикою до власного досвіду — ось ключ до довгострокового успіху.