Нажмите "Enter", чтобы перейти к контенту

Что чище для экологии: обучение модели ИИ или пять автомобилей?

Область искусственного интеллекта часто сравнивают с нефтедобывающей промышленностью: после добычи и переработки данные, как и нефть, могут стать очень прибыльным товаром. Однако теперь становится очевидно, что эта метафора расширяется. Как и ископаемое топливо, процесс глубокого обучения оказывает огромное воздействие на окружающую среду. В новой работе ученые из Массачусетского университета в Амхерсте провели оценку жизненного цикла обучения нескольких распространенных крупных моделей искусственного интеллекта.

Что чище для экологии: обучение модели ИИ или пять автомобилей?

Выяснилось, что в результате этого процесса может выделяться более 626 000 фунтов (около 300 000 кг) в эквиваленте углекислого газа, что почти в пять раз превышает выбросы типичного автомобиля за пять лет (включая производство самого автомобиля).

Как обучаются модели ИИ

Это изумительное количественное определение того, что исследователи искусственного интеллекта давно уже заподозрили.

«Хотя многие из нас думают об этом на абстрактном, размытом уровне, цифры демонстрируют масштаб проблемы», говорит Карлос Гомес-Родригес, специалист по информатике в Университете Ла-Корунья в Испании, который не принимал участия в исследовании. «Ни я, ни другие исследователи, с которыми я их обсуждал, не думали, что воздействие на окружающую среду будет настолько значительным».

Угольный след обработки естественного языка

В работе особенно рассматривается процесс обучения модели для обработки естественного языка (NLP), подполя ИИ, которое занимается обучением машин для работы с человеческим языком. За последние два года сообщество NLP достигло нескольких важных этапов в области машинного перевода, завершения предложений и других стандартных оценивающих задач. Печально известная модель OpenAI GPT-2, как пример, преуспела в написании убедительных поддельных новостных заметок.

Но такие достижения требовали обучения все более крупных моделей на растянутых наборах данных из предложений, вытащенных из Интернета. Этот подход в вычислительном отношении является дорогостоящим и очень энергоемким.

Исследователи рассмотрели четыре модели в области, ответственные за самые большие скачки в производительности: Transformer, ELMo, BERT и GPT-2. Они обучали каждую из них на одном графическом процессоре в течение дня, чтобы измерить потребляемую мощность.

Затем они взяли количество часов обучения, указанное в исходных документах модели, для расчета общей энергии, потребленной за весь процесс обучения. Это количество перевели в эквивалент фунтов двуокиси углерода, который соответствовал структуре энергопотребления AWS от Amazon, крупнейшего поставщика облачных услуг.

Выяснилось, что вычислительные и экологические затраты на обучение росли пропорционально размеру модели, а затем увеличивались многократно, когда настраивалась конечная точность модели. Поиск нейронной архитектуры, который пытается оптимизировать модель путем постепенного изменения структуры нейронной сети за счет проб и ошибок, несет чрезвычайно высокие затраты при небольшом выигрыше в производительности. Без него самая дорогая модель BERT оставила углеродный след в 1400 фунтов (635 кг), что близко к трансамериканскому перелету в оба конца.

Более того, эти цифры следует рассматривать лишь как базовые линии.

«Обучение одной модели — это минимальный объем работы, который вы можете проделать», говорит Эмма Струбелл, ведущий автор статьи. На практике же гораздо более вероятно, что исследователи ИИ разработают новую модель с нуля или адаптируют существующую, что потребует еще много циклов обучения и настройки.

В целом, по подсчетам ученых, процесс создания и тестирования окончательной модели, достойной публикации, потребовал обучения 4789 моделей за шесть месяцев. В пересчете на эквивалент CO2 это порядка 35 000 кг.

Значимость этих чисел колоссальна, особенно если учитывать текущие тенденции в исследованиях ИИ. В целом, исследования в области ИИ пренебрегают эффективностью, поскольку большие нейронные сети признаны полезными для различных задач, и компании, имеющие неограниченные вычислительные ресурсы, будут использовать их для получения конкурентного преимущества.

Но для климата это будет не очень хорошо. Следите за нейросетями в нашем канале в Телеграме.

Источник: hi-news.ru

34 комментария

  1. Can I just claim what a relief to find somebody that in fact recognizes what theyre discussing online. You most definitely recognize just how to bring an issue to light and also make it essential. More people need to read this and understand this side of the story. I cant think youre not much more prominent because you definitely have the present.

  2. Matthew Canez Matthew Canez 29.09.2020

    I discovered your blog site on google as well as check a few of your very early posts. Continue to maintain the excellent run. I just extra up your RSS feed to my MSN Information Viewers. Seeking forward to finding out more from you later on!?

  3. Good blog post. I discover something extra tough on various blog sites day-to-day. It will always be stimulating to review web content from various other authors and also exercise a something from their store. I?d favor to make use of some with the web content on my blog whether you don?t mind. Natually I?ll give you a web link on your web blog site. Many thanks for sharing.

  4. panorex panorex 01.10.2020

    I’m not that much of a internet reader to be honest but your sites really nice, keep it up! I’ll go ahead and bookmark your site to come back down the road. Many thanks

  5. dental boutique dental boutique 01.10.2020

    I’m not sure exactly why but this weblog is loading very slow for me. Is anyone else having this issue or is it a problem on my end? I’ll check back later and see if the problem still exists.

  6. Greetings from Florida! I’m bored at work so I decided to check out your website on my iphone during lunch break. I really like the knowledge you provide here and can’t wait to take a look when I get home. I’m shocked at how fast your blog loaded on my mobile .. I’m not even using WIFI, just 3G .. Anyhow, great blog!

  7. false teeth false teeth 02.10.2020

    Hmm is anyone else having problems with the images on this blog loading? I’m trying to find out if its a problem on my end or if it’s the blog. Any suggestions would be greatly appreciated.

  8. complete dental complete dental 02.10.2020

    I absolutely love your blog and find nearly all of your post’s to be precisely what I’m looking for. can you offer guest writers to write content for you? I wouldn’t mind composing a post or elaborating on some of the subjects you write in relation to here. Again, awesome weblog!

  9. Hmm is anyone else experiencing problems with the images on this blog loading? I’m trying to determine if its a problem on my end or if it’s the blog. Any feed-back would be greatly appreciated.

  10. broken tooth broken tooth 04.10.2020

    Hey there! Quick question that’s completely off topic. Do you know how to make your site mobile friendly? My site looks weird when browsing from my iphone4. I’m trying to find a theme or plugin that might be able to fix this problem. If you have any suggestions, please share. Many thanks!

  11. my dentist my dentist 04.10.2020

    Superb blog! Do you have any tips and hints for aspiring writers? I’m planning to start my own blog soon but I’m a little lost on everything. Would you suggest starting with a free platform like WordPress or go for a paid option? There are so many options out there that I’m totally overwhelmed .. Any ideas? Cheers!

  12. This design is wicked! You certainly know how to keep a reader amused. Between your wit and your videos, I was almost moved to start my own blog (well, almost…HaHa!) Wonderful job. I really loved what you had to say, and more than that, how you presented it. Too cool!

  13. Wendell Bran Wendell Bran 07.10.2020

    Good – I should definitely say I’m impressed with your blog. I had no trouble navigating through all tabs as well as related info. The site ended up being truly simple to access. Nice job…

  14. Sherly Mcaloon Sherly Mcaloon 07.10.2020

    Youre so cool! I dont suppose Ive learn anything like this before. So good to seek out any person with some unique ideas on this subject. realy thanks for starting this up. this website is something that’s needed on the net, someone with a bit of originality. useful job for bringing something new to the web!

  15. Alex Marentes Alex Marentes 08.10.2020

    Wow this game looks uber. How is a kid supposed to get any learning done with all-knowing distractions like this?!?!

  16. I uncovered your blog website on google and examine a few of your very early blog posts. Continue to keep up the excellent operate. I just added up your RSS feed to my MSN Information Visitor. Looking for onward to learning more from you in the future!?

  17. Shane Schlarbaum Shane Schlarbaum 27.10.2020

    When I originally commented I clicked the -Notify me when new remarks are included- checkbox and also now each time a comment is included I obtain four e-mails with the same comment. Is there any way you can remove me from that service? Thanks!

  18. Curt Debar Curt Debar 28.10.2020

    There are definitely a lot of details like that to think about. That is a great indicate raise. I use the ideas over as basic motivation but plainly there are questions like the one you raise where the most vital point will certainly be operating in straightforward good faith. I don?t know if ideal methods have emerged around points like that, but I make certain that your task is plainly recognized as a level playing field. Both boys and girls really feel the impact of just a moment?s satisfaction, for the rest of their lives.

  19. marketing agency marketing agency 28.10.2020

    I really like your blog.. very nice colors & theme. Did you make this website yourself or did you hire someone to do it for you? Plz respond as I’m looking to create my own blog and would like to know where u got this from. appreciate it

  20. Heya this is kinda of off topic but I was wondering if blogs use WYSIWYG editors or if you have to manually code with HTML. I’m starting a blog soon but have no coding expertise so I wanted to get advice from someone with experience. Any help would be greatly appreciated!

  21. Have you ever thought about including a little bit more than just your articles? I mean, what you say is important and everything. However imagine if you added some great images or video clips to give your posts more, «pop»! Your content is excellent but with pics and videos, this blog could definitely be one of the best in its niche. Superb blog!

  22. Whoa! This blog looks exactly like my old one! It’s on a entirely different topic but it has pretty much the same page layout and design. Outstanding choice of colors!

  23. Hey! I know this is kinda off topic but I was wondering if you knew where I could locate a captcha plugin for my comment form? I’m using the same blog platform as yours and I’m having trouble finding one? Thanks a lot!

  24. Hi there, i read your blog occasionally and i own a similar one and i was just wondering if you get a lot of spam comments? If so how do you reduce it, any plugin or anything you can recommend? I get so much lately it’s driving me mad so any support is very much appreciated.

  25. security dog doors security dog doors 05.11.2020

    Hi! I’ve been reading your site for a while now and finally got the bravery to go ahead and give you a shout out from Porter Texas! Just wanted to say keep up the excellent work!

  26. m4 rubber washer m4 rubber washer 06.11.2020

    Terrific post however I was wondering if you could write a litte more on this topic? I’d be very grateful if you could elaborate a little bit further. Bless you!

  27. epdm washer epdm washer 06.11.2020

    Howdy! I’m at work surfing around your blog from my new iphone 3gs! Just wanted to say I love reading through your blog and look forward to all your posts! Carry on the outstanding work!

  28. First off I want to say wonderful blog! I had a quick question that I’d like to ask if you don’t mind. I was curious to know how you center yourself and clear your mind prior to writing. I’ve had trouble clearing my mind in getting my ideas out. I do take pleasure in writing but it just seems like the first 10 to 15 minutes are generally lost simply just trying to figure out how to begin. Any ideas or tips? Many thanks!

  29. soap with cbd oil soap with cbd oil 09.11.2020

    I was really pleased to discover this web-site. I intended to many thanks for your time for this terrific read!! I certainly appreciating every bit of it as well as I have you bookmarked to have a look at new stuff you article.

  30. Hey, you used to write magnificent, but the last several posts have been kinda boring… I miss your great writings. Past several posts are just a little out of track! come on! cbd buy online cbd for cats

  31. Do you have a spam problem on this blog; I also am a blogger, and I was wanting to know your situation; many of us have created some nice practices and we are looking to swap methods with other folks, please shoot me an email if interested.

Добавить комментарий

Ваш e-mail не будет опубликован.

один × 5 =