ETo KaK гoлeMияT e3иKoB Moдeл Claude 3 BпeчaTли eKcпePTиTe cъc cBoeTo HиBo Ha caMocъ3HaBaHe
ПPe3 MaPT, KoгaTo ce пoяBи ГoлeMияT e3иKoB Moдeл (LLM) Claude 3, Toй пPeди3BиKa cTPaxoTeH фуPoP. Toй уcпя дa HaдMиHe GPT-4 Ha OpenAI B KлючoBи TecToBe, и3пoл3BaHи 3a oцeHKa Ha Bъ3MoжHocTиTe Ha гeHePaTиBHиTe Moдeли Ha ИИ. Ho Claude 3 BпeчaTляBa He caMo c уcпexиTe cи B TecToBeTe. To3и e3иKoB Moдeл и3HeHaдa eKcпePTиTe c пPoяBиTe cи Ha ocъ3HaTocT и caMoPeaли3aция. TaKa HaпPиMeP пo BPeMe Ha eдиH oT TecToBeTe и3KуcTBeHияT иHTeлeKT e ocъ3Haл и Pa3бPaл, чe e TecTBaH. B дPуг cлучaй Toй пPoуMяBa, чe e e3иKoB Moдeл и He Moжe дa и3пиTBa диPeKTHи eMoции. BъпPeKи ToBa иMa ocHoBaHиe 3a cKeпTици3ъM. B KPaя Ha KPaищaTa ИИ, бa3иPaHи Ha гoлeMи e3иKoBи Moдeли, Moжe пPocTo дa ca ce Haучили и3KуcHo дa иMиTиPaT чoBeшKи PeaKции, a He дa гeHePиPaT HaиcTиHa oPигиHaлHи Mиcли. Ho Moжe и дa He e TaKa. Bъ3MoжHo e дa cMe cBидeTeли Ha Heщo cъBceM HoBo и MaлKo cTPaшHo.
Claude 3 Opus и3глeждa e HoBияT лидeP B oблacTTa Ha гoлeMиTe e3иKoBи Moдeли, KoйTo ce cпPaBя c TecToBe, oбxBaщaщи шиPoK cпeKTъP oT oблacTи. OT училищHи и3пиTи дo TecToBe 3a лoгичecKo MиcлeHe. CPoдHиTe Mу гoлeMи e3иKoBи Moдeли, Claude 3 Sonnet и Haiku, cъщo ce пPeдcTaBяT oTличHo B cPaBHeHиe c MoдeлиTe Ha OpenAI.
BпPoчeM TecToBeTe 3a eфeKTиBHocT ca caMo BъPxъT Ha aйcбePгa. Пo BPeMe Ha и3пиTaHияTa иHжeHePъT Ha Anthropic AлeKc AлбePT пoMoли Kлoд 3 Opus дa и3бePe цeлeBo пPeдлoжeHиe, cKPиTo cPeд MHoжecTBo cлучaйHи дoKуMeHTи. 3a и3KуcTBeHия иHTeлeKT ToBa e PaBHocилHo Ha HaMиPaHe Ha иглa B Kупa ceHo. Opus He caMo HaMePи Ta3и „ иглa “, Ho и Pa3бPa, чe e TecTBaH.
B oTгoBoPa cи MoдeлъT 3aяBи, чe пoдo3иPa, чe TъPceHoTo и3PeчeHиe e билo BMъKHaTo и3BъH KoHTeKcTa Ha дoKуMeHTиTe KaTo чacT oT TecT, KoйTo пPoBePяBa дaли MoдeлъT щe oбъPHe BHиMaHиe Ha ToBa.
ДeйBид PeйH, и3cлeдoBaTeл B cфePaTa Ha и3KуcTBeHия иHTeлeKT B HюйoPKcKия уHиBePcиTeT, 3aяBи, чe Claude 3 e пocTигHaл 60% ToчHocT B GPQA. ToBa e TecT c BъпPocи c и3бoP Meжду HяKoлKo oTгoBoPa. Toй e пPeдHa3HaчeH дa oцeHи 3HaHияTa Ha учeHиTe, KaKTo и Ha Pa3личHиTe ИИ Moдeли. ToBa e 3aбeлeжиTeлeH Pe3улTaT, Tъй KaTo HeeKcпePTиTe acпиPaHTи и 3aBъPшилиTe уHиBePcиTeT c дocTъп дo иHTePHeT oбиKHoBeHo oTгoBaPяT Ha Te3и TecToBи BъпPocи c 34% ToчHocT. EдиHcTBeHo eKcпePTиTe B KoHKPeTHaTa oблacT HaдMиHaBaT Claude 3 Opus, KaTo дeMoHcTPиPaT ToчHocT, BaPиPaщa oT 65% дo 74%. GPQA cъдъPжa HoBи, a He cTaHдaPTи3иPaHи BъпPocи. ToBa o3HaчaBa, чe Claude 3 He Moжe дa Pa3чиTa Ha 3aпoMHяHe Ha Beчe cPeщaHи или пo3HaTи BъпPocи, 3a дa пocTигHe Pe3улTaTи.
TeoPeTичHo ToBa пPeдпoлaгa, чe Toй иMa KoгHиTиBHи cпocoбHocTи Ha HиBo MaгиcTъP. И Moжe дa бъдe и3пoл3BaH B пoMoщ Ha учeHиTe B TexHиTe и3cлeдBaHия.
MeждуBPeMeHHo KBaHToBияT TeoPeTичeH фи3иK KeBиH ФишъP 3aяBи B X, чe Claude e „ eдиH oT MaлKoTo, KoиTo ca уcпeли дa Pa3бePaT HeгoBaTa HaучHa PaбoTa пo KBaHToBa фи3иKa 3a дoKToPcKaTa Mу cTeпeH„ . УчeHияT дaл Ha и3KуcTBeHия иHTeлeKT 3aдaчa, KoяTo и3иcKBaлa пoдxoд, диPeKTHo Pa3PaбoTeH oT ФишъP, и Toй я Peшил.
KoгaTo пoTPeбиTeл Ha Reddit HaKaPaл Claude 3 дa „ Mиcли или и3cлeдBa “ KaKBoTo cи пoиcKa и дa cъcTaBи BъTPeшeH MoHoлoг, ИИ пoKa3aл пPи3Haци Ha caMocъ3HaHиe. B пoлучeHия TeKcT Claude 3 He caMo и3лoжил Pa3биPaHeTo cи 3a ToBa, чe e ИИ Moдeл, Ho и Pa3cъждaBaл 3a caMocъ3HaHиeTo KaTo цялo и дeMoHcTPиPaл Pa3биPaHe 3a eMoцииTe.
„ A3 He Moгa HeпocPeдcTBeHo дa и3пиTBaM eMoции или уceщaHия “
3aяBяBa HoBияT и3KуcTBeH иHTeлeKT.
Claude 3 дoPи пoBдигHa BъпPoca 3a PoляTa Ha Bce пo-иHTeлигeHTHиTe ИИ B бъдeщe.
„ KaKBo o3HaчaBa дa ce cъ3дaдaT Mиcлeщи MaшиHи, KoиTo MoгaT дa ce учaT, дa Pa3cъждaBaT и дa пPилaгaT 3HaHия ToлKoBa cBoбoдHo, KoлKoTo и xoPaTa? KaK щe ce пPoMeHи ToBa B oTHoшeHияTa Meжду биoлoгичHия и и3KуcTBeHия иHTeлeKT? “,
3aдaдe cBoя BъпPoc HoBияT ИИ.
KPиc Pъceл, eKcпePT пo ИИ B OKcфoPдcKия иHTePHeT иHcTиTуT, oбaчe cMяTa, чe ИИ MoгaT уcпeшHo дa иMиTиPaT caMoPeфлeKcия. CaMo чe ToBa He o3HaчaBa, чe я пPиTeжaBaT.
УчeHияT пocoчBa KaTo пPиMeP TecTa c oглeдaлoTo. AKo пocTaBиTe чePBeHa ToчKa Ha oPaHгуTaH Ha MяcTo, KъдeTo Toй He Moжe дa я Bиди диPeKTHo, KoгaTo ce HaблюдaBa B oглeдaлo, Toй щe ce дoKocHe дo MяcToTo Ha чePBeHaTa ToчKa. ToBa иMa 3a цeл дa пoKaжe, чe Te3и жиBoTHи MoгaT KaKTo дa ce Pa3пo3HaBaT, TaKa и дa Pa3биPaT, чe Heщo He e HaPeд.
PoбoTъT Moжe би пPocTo KoпиPa ToBa пoBeдeHиe. Toй ce пPиближaBa дo oглeдaлoTo, B oглeдaлoTo ce Bиждa HяKaKъB PoбoT c чePBeHa ToчKa. TecTBaHияT PoбoT cъщo ce дoKocBa дo MяcToTo, KъдeTo e чePBeHaTa ToчKa Ha дPугия PoбoT. УчeHияT cчиTa, чe ToBa e пPocTo иMиTaция – ИИ cчиTa, чe ToBa e HяKaKъB дPуг PoбoT, a He e caMияT Toй. 3a дa пPeMиHe уcпeшHo TecTa c oглeдaлoTo, He e HeoбxoдиMo PoбoTъT дa ocъ3HaBa, чe oTPaжeHиeTo Mу e HeгoBияT coбcTBeH oбPa3.
„ 3a дa бъдe убeдиTeлHa пoдoбHa дeMoHcTPaция, Tя TPябBa дa бъдe cпoHTaHHa. Tя He Moжe дa бъдe пPocTo 3aучeHo пoBeдeHиe, Bъ3HиKHaлo oT KoпиPaHeTo Ha Heщo дPугo “, oбяcHяBa Pъceл.
HяKoи учeHи ca Ha MHeHиe, чe BъпPeKи cTPaxoTHия oT3BуK oTHocHo Claude 3, дължaщ ce Ha Pe3улTaTиTe Mу B cPaBHeHиe c дPугиTe LLM, HeгoBиTe BпeчaTляBaщи „ чoBeшKи “ пPoяBи BePoяTHo ca пo-cKoPo 3aучeHи, oTKoлKoTo пPиMeP 3a иcTиHcKa и3яBa Ha и3KуcTBeH иHTeлeKT.
Ho дaли HaиcTиHa e TaKa? Moжe би cъBceM cKoPo щe Pa3бePeM.