"Gorzka lekcja": naukowiec opowiedział o tym, że 70 lat w dziedzinie badań AI zostały wydane praktycznie na próżno

Największa lekcja, którą można wyciągnąć z 70 lat badań nad AI, polega na tym, że ogólne metody, za pomocą obliczeń, w końcu okazują się najbardziej skuteczne — i z dużą przewagą. Ostatecznym powodem tego jest prawo Moore ' a. Lub raczej jego uogólnienie: ciągłej, wykładniczy tańsze obliczeniowych procesorów. O tym, że "gorzkiej lekcji" powiedział Richard Sutton, kanadyjski komputerowy naukowiec. Dalej — od pierwszej osoby.

Dlaczego badania sztucznej inteligencji były w impasie 70 lat?

Większość badań sztucznej inteligencji odbywały się tak, jak gdyby obliczenia, dostępne agenta, były stałe (i w tym przypadku korzystanie z wiedzy ludzkiej byłoby jednym z niewielu sposobów zwiększenia wydajności). Ale po pewnym — znacznie więcej, niż jest potrzebne do typowego projektu badawczego — nieuchronnie staje się dostępne znacznie więcej obliczeń. W poszukiwaniu ulepszeń, które mogą pomóc w krótkim okresie, naukowcy starają się wykorzystać maksymalnie ludzkiej wiedzy w tej dziedzinie, ale jedyne, co ma znaczenie w dłuższej perspektywie — to rosnące wykorzystanie obliczeń. Te dwa aspekty nie muszą iść sprzeczne ze sobą, ale w praktyce idą. Czas spędzony na jednym z nich, nie ma czasu, потраченному na inny. Istnieją psychologiczne zobowiązania do inwestowania w ten lub inny podejście. A podejście oparte na wiedzy człowieka, ma tendencję do komplikować metody w taki sposób, że stają się mniej nadają się do wykorzystania zalet typowych metod, wykorzystujących obliczenia.

Wynik: trzeba od razu rzucać ponownie rozwiązać zadanie AI "głową", bo czas minie i ona zdecyduje o wiele szybciej i łatwiej — dzięki wzrostowi mocy obliczeniowej

Było wiele przykładów, kiedy badacze AI opóźnieniem rozumieli to gorzka lekcja. Będzie pouczające rozważyć niektóre z najbardziej znanych przykładów.

W komputerowych szachach metody, zwycięskie mistrza świata Kasparowa w 1997 roku, opierały się na ogromnej, głębokiej wyszukiwarce. W tym czasie do nich z niepokojem odnosili się większość naukowców komputerowych szachów, którzy korzystali z metody oparte na zrozumieniu człowiekiem szczególnej struktury szachów. Kiedy bardziej proste, oparte na poszukiwaniu podejście ze specjalnym sprzętem i oprogramowaniem okazał się znacznie bardziej skuteczny, naukowcy, отталкивающиеся od ludzkiego zrozumienia szachów, nie przyznali się do porażki. Oni powiedzieli: "tym razem podejście brutalnej siły, może i wygrał, ale to nie stanie się wspólną strategią, a już na pewno ludzie nie grają w szachy w ten sposób. Naukowcy chcieli, aby metody oparte na ludzkim wkładzie, wygrali i są bardzo rozczarowani, gdy do tego nie doszło.

Wynik: prosta brutalna siła obliczeń weźmie swoje, prędzej czy później

Podobny obraz postępu w badaniach została zauważona w komputerowych roku, tylko z opóźnieniem jeszcze na 20 lat. Początkowo ogromny wysiłek zmierza do tego, aby unikać wyszukiwania, za pomocą ludzkiej wiedzy lub cechy gry, ale wszystkie te wysiłki okazały się niepotrzebne lub nawet gorzej, jak tylko szukaj zastosowali skutecznie i ambitnie. Ważne jest również, aby było użyć szkolenia w trakcie samodzielnej gry, aby nauczyć się ценностную funkcji (jak to było w wielu innych grach, a nawet w szachach, tylko nauka nie odgrywała dużej roli w programie 1997 roku, która po raz pierwszy ograła mistrza świata). Nauka gry z samym sobą, nauki w ogóle, to jak wyszukiwanie, pozwalającą na zastosowanie ogromnej ilości obliczeń. Wyszukiwanie i szkolenie — dwóch najważniejszych klasy technik, które mogą zebrać ogromne ilości obliczeń w badaniach AI. W komputerowym roku, jak i w komputerowych szachach, początkowe wysiłki badaczy koncentrowały się na korzystanie z ludzkiego zrozumienia (tak, aby zużywać mniej wyszukiwania), a dopiero dużo później został osiągnięty znacznie większy sukces — za pomocą wyszukiwania i uczenia się.

Wynik: wyszukiwanie i szkolenie, подпитанные mocy obliczeniowej, znacznie lepsze od próby rozwiązania zadania "niekonwencjonalne podejście myślenia"

W dziedzinie rozpoznawania mowy w 1970 roku został przeprowadzony konkurs, sponsorowany przez DARPA. Uczestnicy reprezentowali różne metody, które wykorzystali zalety ludzkiej wiedzy — wiedza słów i fonemów, ludzkiego głosu pokarmowego i tak dalej. Po drugiej stronie barykady zostały nowe metody, statystyczne z natury i wykonujące więcej obliczeń, na podstawie ukrytych modeli Markowa (HMM). I znowu metody statystyczne wygrali metody oparte na wiedzy człowieka. To doprowadziło do poważnych zmian w całym przetwarzania języka naturalnego, stopniowo внедряющимся w ciągu dziesięcioleci, aż w końcu statystyki i obliczenia nie zaczęły dominować w tej dziedzinie. Niedawny wzrost głębokiego szkolenia w zakresie rozpoznawania mowy — to jest ostatni krok w tym konsekwentnym kierunku. Metody głębokiego uczenia jeszcze mniej polegają na ludzkiej wiedzy i używają jeszcze więcej obliczeń, wraz ze szkoleniem na dużych zestawach próbek, i dają wspaniałe systemu rozpoznawania mowy.

Richard Sutton, kanadyjski komputerowy naukowiec

Jak i w grach, uczeni próbowali tworzyć systemy, które będą działać tak, jak przedstawiali w swoich głowach — próbowali umieścić tę wiedzę do swoich systemów— ale to wszystko wychodziło bardzo nieprawdziwy, naukowcy po prostu spędzać czas, gdy — ze względu na prawa Moore ' a — stawały się dostępne coraz bardziej masywne obliczenia i znajdowali sobie doskonałe zastosowanie.

Wyjście: jeden i ten sam błąd powielany od dziesięcioleci

Podobny obraz był w polu widzenia komputerowego. Pierwsze metody są postrzegane jako wyszukaj niektórych obwodów, ogólnych cylindrów, albo z wykorzystaniem możliwości SIFT (ambitnie-invariant transformacji objawów). Ale dziś to wszystko wrzucił do paleniska. Nowoczesne sieci neuronowe z głęboką nauką używają tylko koncepcja zestawienia i pewnych инвариантов i działają o wiele lepiej.

To jest wielka lekcja.

W jaką obszar jesteśmy ani zatrzymanie się, jesteśmy wszędzie nadal popełniać te same błędy. Aby to zobaczyć i skutecznie pokonać, trzeba zrozumieć, dlaczego te błędy tak atrakcyjne musimy nauczyć się gorzka lekcja, że budowanie tego, jak myślimy, począwszy od tego, jak myślimy, nie zadziała na dłuższą metę. Gorzka lekcja, bazując na obserwacjach historycznych, pokazuje, że: 1) badacze AI często próbowali osadzić wiedzę w swoich agentów; 2) to zawsze pomagało w krótkim okresie i przynosił naukowcom zadowolenie; 3) ale w dłuższej perspektywie wszystko chyliło się w ślepy zaułek i тормозило dalszy postęp; 4) прорывной postęp nieuchronnie przyszedł z zastosowaniem przeciwnego podejścia opartego na skalowania obliczeń kosztem wyszukiwania i szkolenia. Sukces był gorzki smak i często nie усваивался w pełni, bo to sukces obliczeń, a nie sukces zorientowane na człowieka podejść.

Z tej gorzkiej lekcji należy przyswoić sobie jedno: ogromną moc metody ogólnego zastosowania, metod, które nadal skaluje się wraz ze wzrostem obliczeń, nawet wtedy, gdy dostępne obliczenia stają się bardzo duże. Dwie metody, które, jak się wydaje, skalowany dowolnie w ten sposób to wyszukiwanie i szkolenia.

Po Drugie, że należy wyciągnąć z tej gorzkiej lekcji, polega na tym, że rzeczywista zawartość umysłu bardzo i niepotrzebnie skomplikowane; powinniśmy przestać próbować znaleźć proste sposoby, aby zrozumieć treść umysłu, podobne na proste sposoby myślenia o przestrzeni, obiektów, wielu agentów lub symetrii kształtu. Wszystkie one są częścią dowolnie skomplikowanego świata zewnętrznego. Nie powinniśmy próbować od nich uciec, bo ich złożoność jest nieskończona; powinniśmy budować na meta-metodach, które mogą znaleźć i złapać tę dowolny poziom trudności. Metody te mogą znajdować dobre zbliżenia, ale poszukiwanie ich musi odbywać się naszymi metodami, a nie nami. Potrzebujemy agenci AI, które mogą otwierać się tak samo, jak my, a nie zawierać to, co odkryliśmy. Budowanie na naszych odkryciach tylko komplikuje proces otwierania i wyszukiwania.

Wyjście: trzeba zaufać obliczeń, a nie próbować калькировать ludzkie myślenie i próbuje wyjaśnić skomplikowane metody otwierania i wyszukiwania prostymi schematami; w dłuższej perspektywie zadziała pierwszy, a nie ostatni.

Omówić gorzka lekcja badacze AI można .