Ինչ է Google Lumiere-ը

Google-ը մշակել է Lumiere՝ առաջադեմ արհեստական ինտելեկտը, որը կարող է տեքստերն ու պատկերները վերածել մինչև 5 վայրկյան տևողությամբ տեսանյութերի՝ արտասովոր իրատեսական որակով: Այս նախագիծը Google-ի, Վայզմանի գիտությունների ինստիտուտի և Թել Ավիվի համալսարանի համագործակցության արդյունքն է: Lumiere-ը կատարելագործվել է՝ մարզվելով 30 միլիոն տեսանյութերով և դրանց համապատասխան ենթագրերով, որոնք կարողացել են ստեղծել 80 կադր վայրկյանում 16 կադր արագությամբ (fps):

Այն, ինչ Lumiere-ին առանձնահատուկ է դարձնում՝ համեմատած այլ վիդեո սերնդի AI-ների հետ, բառերն ու ստատիկ պատկերները տեսաշարերի իրատեսական ձևով և հեղուկ շարժումներով փոխակերպելու կարողությունն է: Ավանդական AI-ները սովորաբար ստեղծում են առանձին առանցքային կադրեր, որին հաջորդում է ժամանակային գերլուծումը, ինչը հաճախ հանգեցնում է անիրատեսական, ստատիկ շարժվող տեսանյութերի: Դա հաղթահարելու համար Google-ի թիմը փոփոխել է Lumiere-ի ճարտարապետությունը, որպեսզի այն կարողանա մեկ քայլով ստեղծել մի ամբողջ տեսանյութ՝ ապահովելով ավելի մեծ հետևողականություն և բնականություն շարժումներում:

Google-ը բացատրել է Lumiere-ի հիմքում ընկած տեխնոլոգիան իր Github էջում հրապարակված և հասանելի փաստաթղթում: Չնայած Lumiere-ը դեռ հասանելի չէ բետա փորձարկման համար, Google-ը կիսվել է Github-ում իր գործունեության օրինակներով: Տեսանյութերի ստեղծման այս մոդելը ներառում է այնպիսի գործառույթներ, ինչպիսիք են՝ հղումային պատկերներից նոր ոճեր ստեղծելը, տեսանյութերի ոճավորումը, անշարժ պատկերների մասերի աշխուժացումը, անավարտ կամ մասամբ թաքնված տեսանյութերի ճշգրիտ լրացումը և տեսանյութի մասերի իրական ժամանակի փոփոխությունը: Ցուցադրական օրինակը ցույց է տալիս, թե ինչպես Lumiere-ը կարող է կնոջն ու շանը վերածել օրիգամիի ֆիգուրների կամ փայտե բլոկների:

Վերջապես, Lumiere-ն աչքի է ընկնում իր օգտակարությամբ՝ ընդլայնելով տեսանյութի ենթատեքստը, փոխելով այնպիսի տարրեր, ինչպիսիք են անձի հագուստը մեկ ուրիշի համար, որը նկարագրված է տեքստում, կամ նույնիսկ վերացնելով անցանկալի տարրերը:

Leave a Comment