GPT2 GPT-2 训练实现

开源网站开源项目 24-05-22 14:23:53

非官方 GPT-2 训练实现,支持 GPU 和 TPU。

GPT-2 是一种基于 transformer的大型语言模型,具有 15 亿个参数,在 800 万网页数据集上进行训练。

依赖:

GPU

pip3 install tensorflow-gpu regex

TPU

pip3 install tensorflow regex google-api-python-client oauth2client

下载模型

pip3 install requests tqdm

生成数据集

pip3 install ftfy tqdm newspaper3k

[GPT2 GPT-2 训练实现]相关推荐

Presto 浏览器排版引擎

Presto是一个由Opera Software开发的浏览器排版引擎(非开源),供Opera 7.0~10.00版使用。 Presto取代了……...

Silver Swift 的免费实现

Silver Swift 的免费实现

Silver 是苹果 Swift 编程语言的免费实现。开发者可以通过Silver 来使用Swift 编写代码并直接利用 .NET、……...

flying MyBatis 的扩展插件

flying 是一个可以极大增加 mybatis 开发速度的插件组,它提供了一种全新的操作数据的方式,希望能对您有……...

今日开源
  1. Bopomofo4j 纯 Java 汉字转拼音库

    Bopomofo4j是一个零依赖、纯Java开发的汉字转拼音库,具备沙盒运行模式。JavaScript版本 Bopomofo.js 实现汉字转拼音 实现汉语单词转拼音 实现汉语句子转拼音,在一定程度解决多音字问题 实现简体,繁体互转 词库……

    开源软件 2024-06-25

  2. Servant Haskell Web 服务

    Servant 包含一组 Haskell 库,用来构建 Haskell Web 服务。这是一个类型安全的服务,同时支持生成 Web 服务的客户端代码(包括 Haskell 或者 JavaScript) Update changelog and bump versions inmaster git log ……

    开源软件 2024-06-25

  3. Scala 编程语言

    Scala 编程语言

    Scala是一门现代的多范式编程语言,旨在以简练、优雅及类型安全的方式来表达常用编程模式。它平滑地集成了面向对象和函数语言的特性。 Scala是面向对象的:Scala是一个纯面向对象语言,在某种意义上来讲所有数值……

    开源软件 2024-06-25

返回顶部小火箭